DSPD - Docela slušná porce dat - Pohádka pro otrlé

Kapitola první - Bylo nebylo ...

Bylo.
Na jednom serveru v zemi dánské se nacházelo neobvyklé množství dat.
A nebyla to jen tak taková data, ale mnohdy vzácná data, dávnými věky zašlá a zpráchnivělá.
Tato data čekala věky věků na osvobození od zlých správců serverového zámku. Tito správci byli lidé zlí, neochotní, nepružní, nesdílní a lidé zapšklí. Tak ta data čekala v klidu a pokoře dlouhá léta a tajně doufala, že se objevní Princ, alespoň Perský a že tato data zachrání a osvobodí. Dlouhá léta ovšem žádný Princ(e) okolo nejel. A tak data propadala stále větsím deprésim a Mario-depresím, mnohdy provázenými stavy binární úzkosti.

Až jednou ...

... se objevil Princ. Čert vem, že nebyl Perský, ani neuměl zpívat ... ale tento statečný princ pochopil, že tato data jsou takřka ztracena. Jejich existence byla na hraně propasti "F8" a nálezový stav byl tak tristní, že se princi zželelaly ( prostě jich mu začalo být líto ), a přepadla jej představa, že by tato data zachránit mohl.

A tak se jal je zachraňovat! A že to byla věc jen pro celé prince, to bylo již předem jasné.

Na přípravu nebyl čas, a jediný, kdo mohl chrabrému jinochovi pomoci v boji byl jeho věrný pes WéGET. Princ zadal svému poddanému psu povel "Dotáhni mi ta data ke mě do stanu" a začal lítý boj!

Třicet dní a nocí pes WéGet tahal zamaskovaná data ke svému Princi do jeho stanu a i když párkrát po cestě čtyřnohý kamarád zamrzl, princ jej vždy na dálku nahodil příkazem "pokračuj".
A tak se stalo, že po třiceti dnech tahání měl princ ve svém stanu snad všechna data na světě.
"No jo ..", řekl si princ, ale co ted?

Kapitola druhá - Co s nimi ?

Stan byl sice plný zachráněných dat,ale data měla okolo sebe mundůr přibaleného maskovacího HTML kódu.
Princ ovšem potřeboval data čistá, umytá, bez zbytečných maskovacích kabátků a tak se jal data čistit.
Potřeboval by ovšem mnoho let na to, aby všechna data očistil a tak se rozhodl, že postaví čističku dat.
Několik dnů a nocí princ pracoval na čističce dat a že to byla pořádná dávka dat!
Celkem musel princ vyčistit 245.000 zamaskovaných HTML jedinců, kteří byli poschovávaní ve 220.000 mundúrech

Na pomoc s čištěním mu nakonec musel přijet z dálav i skvělý databijec Princ J( čti džej) Shuterland, který za pomocí magie a kouzel regulárních výrazů dokázal postavit čističku dat tak výkonnou, že po pár pokusech byla data očištěna během pár desítek hodin.

Kapitola třetí - trocha čísel na závěr

1. WGET stahoval data 30 dní, 86400 sekund denně
2. Na disku se v jednu chvíli nacházelo 780.122 souborů, 518,022 adresářů, 234.125 skrýnšotů což bylo celkem 53.6 GigaBajtů dat !!!
3. Po vyčištění duplicitních dat zůstalo na disku cca 410.000 souborů, 375.000 adresářů, 230.000 skrýnšotů a 37.7 GigaBajtů dat.
4. Jen kopírování dat sekce "download" trvalo nějakou hodinku. Viz obrázek.
5. Stahování 237.000 screenshotů pro 237.000 release bylo děláno pomocí PHP skriptu generujícího IMG atributy pro GIF a PNG na HTML stránku a jen samotné ukládání obrázků na disk trvalo 6 hodin v kuse.
6. Total Commander otevíral složku "release", kde se nacházelo 237.000 souborů v jednom adresáři 2 minuty. ( pokaždé )
7. Parsování HTML kódů souborů "release" na local(e) v PHP trvalo regulárům a file systému celkem 19,5 hodiny v kuse :)
8. Parsování složky SID ( cca 53.000 souborů ) trvalo cca 2 hodiny
9. Parsování složky "scener" a "group" trvalo sice jen hoďku, ale kvůli komplikovaným a neošetřeným stavům v regular. expression se to dělalo asi 6x :)
10. Počítač jel nonstop 36 dní a během této doby ani jednou milované sedmičky nespadly. WGET párkrát zamrzl.
11. Už to dělat nebudu.

Kapitola čtvrtá a poslední - a co z toho máme ?

Na c64.cz serveru jsou nyní kompletní data, která obsahují snad všechny dema a kdovíjaké release od počátku věku do kvetna roku 2021 a to přesně :

---

BBS Graphics - 53 záznamů
BBS Software - 266 záznamů
C128 Release - 181 záznamů
C64 1K Game - 93 záznamů
C64 1K Intro - 15 záznamů
C64 256b Intro - 323 záznamů
C64 2K Game - 51 záznamů
C64 32K Game - 15 záznamů
C64 4K Game - 172 záznamů
C64 4K Intro - 43 záznamů
C64 512b Game - 36 záznamů
C64 Basic Demo - 498 záznamů
C64 Charts - 987 záznamů
C64 Crack - 92223 záznamů
C64 Crack Intro - 679 záznamů
C64 Demo - 4126 záznamů
C64 Disk Cover - 725 záznamů
C64 Diskmag - 3559 záznamů
C64 DTV - 84 záznamů
C64 Fake Demo - 27 záznamů
C64 Fake Game - 41 záznamů
C64 Game - 3251 záznamů
C64 Game Preview - 448 záznamů
C64 Graphics - 12158 záznamů
C64 Graphics Collection - 155 záznamů
C64 Hardware - 68 záznamů
C64 Intro - 2201 záznamů
C64 Intro Collection - 245 záznamů
C64 Invitation - 379 záznamů
C64 Misc. - 423 záznamů
C64 Music - 16562 záznamů
C64 Music Collection - 2539 záznamů
C64 One-File Demo - 24937 záznamů
C64 Papermag - 390 záznamů
C64 Tool - 1015 záznamů
C64 Tool Collection - 929 záznamů
C64 Votesheet - 100 záznamů
EasyFlash Release - 324 záznamů
IDE64 Release - 254 záznamů
Other Platform C64 Tool - 148 záznamů
REU Release - 71 záznamů
SuperCPU Release - 44 záznamů

---

A nyní je již jen na vás, aby jste se prorabali novým množstvím dat !

ENDŽOJ :)

PCH / Unreal

ps. Velké poděkování bych rád poslal i Jirkovi Š. který nemluví a koná a vytvořil jen tak ve volném čase PHP regulár, který rozlouskl všech 237.000 HTML stránek releasů bez zásadních úprav :)

ps1. Další poděkování bych rád poslal hardware Guru Rayovi za navýšení limitů serveru a vítězné bitce s partition table a navýšením prostoru

Jako poslednímu bych rád poslal poděkování(čko) bratru Sillicon(ovi) za jeho ohromný beta test, když poťukal asi šest odkazů a pak šel na pivo :)