Obraz v rekonštrukcii

Pred 40 rokmi zmätene čítam o televíznych normách PAL/NTSC/SECAM, Rozlíšenie obrazu, pixelíky, elektrónové delo, refresh, overscan, párne a nepárne raster riadky. Dnes to zjednoduším z didaktických dôvodov na PAL frame o 640x480 pixeloch  na 25 fps /a interlaced srandy už nebudem riešiť vôbec/. Ako vlastník ZX Spectra som v manuále našiel niečo o štandardnom rozlíšení 256x192 pixeloch a jasne som videl okolo hernej plochy veľký "border", teda okraj kde sa grafika nezobrazovala. Logicky tam museli byť tie "zvyšné" pixely. Potom som zhliadol niečo na C64 a Atari a nedalo sa nevšimnúť, že ich grafika bola výrazne "hrubšia", pixely tučnejšie ako na spectre. Na C64ke síce veľa farieb per pixel, ale v rozlíšení iba 160x200. Farby a veľké rozlíšenie sa rovná obrovská spotreba kapacity RAM, jej priepustnosti a tlak na GPU plniť to pixelami aka fillrate, takže plnofarebné 320x240 alebo rôzne interlaced hires 640x512 srandy sme videli až na Amiga 500. PC prišlo s novou kvalitou a to natívne progresívne zobrazenie na monitore bez trikov s párnými a nepárnymi snímkami.

DOOM 1 na PC beží v 320x200px/35hz iba na najvýkonnejšom HW svojej doby, takže priemerný hráč, aby to dostal na hrateľnú rýchlosť si musel zmenšiť veľkosť herného okna a čumel na veľké okraje /ako ja na spektre/ alebo to nechal tak a znížil rozlíšenie pixelov v jednej osi na polovicu /ako na C64ke/. Zo starých herných časopisoch po 1993, keď už PC u nás dominovalo si pamätám stále dokola jednu opakujúcu sa vetu - ohromenie nad kolapsom rýchlosti snímkovania pri prepnutí z VGA /320x200/ do SVGA /640x400/. Ak DOOM 1 na VGA pixely potreboval i486DX66, tak zákonite ďalšie podobné "DOOM" hry v SVGA na tej iste 486ke padli na hubu /Cybermage, viď prvý odsek/. Bežte si po Pentium. Hrubá sila. Čiastočným riešením boli aj "medzi režimy" ako RPG Ravenloft v 320x400 pixel.

Rozlíšenie hier však nakoniec odštartovalo prudko smerom na sever - 800x600, 1028x768 /neuveriteľná ostrosť/, 1600x900 a fenomenálnych 1920x1080. V zhode s tzv. Full HD LCD telkami a cieľový štandard aj dnes pre ešte stále najrozšírenejšiu konzolu PS4. Na PS5 sa teda čakal postup ku 1440p, 1620p, 1800p alebo 2160p alias 4K rozlíšeniu. Pozorujeme však skôr presný opak. PS5 sa cíti najlepšie niekde okolo 1440p a chystaný UE5 engine to posúva smerom nadol ku 1080p, dokonca ešte nižšie. Laik by povedal, že lepšia grafika chce proste svoje, ale chýba tomu "vnútorná" logika, predsa každá generácia konzol /povedzme PS mašín/ jasne v tomto bode o triedu poskočila - povedzme, že PS1 je 240i konzola, PS2 - 480i, PS3 - 720p, PS4 -1080p. PS5 stagnuje alebo dokonca cúva, ak zohľadníme minimálne 10 násobný nárast výkonu na strane GPU oproti PS4.

 

na PS2 gameplay stačí PS2 grafika - v 8K120 režime

Problém, na ktorý sme narazili je pritom jednoduchý a to - počet kalkulacií na jeden úspešne vykreslený pixel rastie v exponente nie lineárne ako výkon vášho GPU /alebo priepustnosti RAM/. Pri PS1 ste zobrali jeden pixel /texel/ textúry a napasovali ho na obrazovku /to môže byť jeden fyzický pixel, niekoľko pixelov, dokonca iba subpixel/. Tento proces sa vlastne volá rasterizácia a pri DOOM 1 v 1993 ho na PC robilo samo CPU. PS1 už pre to má HW podporu /aj stará 3Dfx Voodoo grafika/. Do rasterizácie teda išlo kopu silikónu až do momentu, kým neprišiel prvý pixel shader, ktorý predtým než ta rasterizácia to texel-pixel mumbo jumbo urobí, tak pixel shader hodnotu /farbu/ toho pixela musí najprv spočítať. Chcete peknú grafiku, per-pixel efekty, všetky tie lesklé, odrazivé a dynamické hry so svetlom. Takže počítame. Desať výpočtov na pixel. Sto. Tisíc. Desať tisíc. Na PS4 zistíte, že rasterizačná časť GPU sedí na zadku a čaká, kým to "compute" časť vyráta. Nie je teda problém na PS5 natívny 4K obraz premaľovať aj 100 krát za sekundu. Nemáte, ale čo vykresľovať. Tie pixely nie sú pripravené a ťažkosti tu zďaleka nekončia.

Extrémne výkonný rasterizér /140 miliárd pixelov za sekundu/ čaká za pomalšou SIMD compute  časťou /shader kód/ a ta zas za ešte pomalším Raytracing modulom. Ak to chcete polopate, tak oldschool raster grafiku dá PS5 natívne 4K/120fps bez záváhania, ale už iba na 4K/30 fps, ak chcete shader kód na, ktorý sa dá aspoň trochu pozerať a iba 4K a menej ako 15 fps ak tam pridáte aj RT efekty. Prvé čo vás napadne je posilniť v ďalšom GPU práve tú RT časť. Myslite však na to, že tranzistorový budget vášho APU pri GPU sa delí na rasterizačnú, compute a RT časť a ekonomika vás nepustí do väčšieho čipu, ale iba do prerozdelenia už existujúcich tranďákov. Väčšinou sa teda obetuje rasterizačná časť a napchá sa to do RT hárdvéru.

 

UE5 a pathtracing - veľmi pekné ale výpočetne mimoriadne náročné pixely

Musíme si priznať, že proces výpočtu jedného pixelu sa zmenil na nočnú moru /asi ako keď renderujete 3D CG grafiku na Amiga 500/ a to nám to tlačí finálne rozlíšenie smerom nadol. A v dohľadnej dobe sa s tým nedá zdanlico nič urobiť. Dnes na PS5 ste presne v situácií ako s tým spomenutým Cybermage v úvode. Ak vás napadne nahradiť výpočty prostým vrstvením "hlúpych" raster pixelov, aj na to sa myslelo ale watt spotreba vás rýchlo uzemní. Je to možné ale príšerne neefektívne, energiu žravé, neflexibilné, uživateľsky-game editor pre dev tím krajne neprívetivé. A spotreba VRAM by bola obzvlášť fantasticky zlá.

Renesancia rekonštrukčných algoritmov /obludne veľká téma a začať môžem už s 16 bitovým SEGA Megadrive/. Tu je odpoveď na otázku, čo s tým budeme robiť. HW to spočíta natívne v 2K rozlíšení a mágia to preklopí do žiadúceho 4K. Nvidia DLSS, AMD FSR, Intel XeSS alebo propriétne pokusy ušité pre daný enginy konkrétnym dev tímom ako TSR od EPICu. Umelé zvýšenie rozlíšenia sa zas až tak filozófiou nelíši od čarovania pri kompresii 2D videa. Herný G-buffer /pri najrozšírenejšom deferred renderingu/ neustále drží v pamäti veľké množstvo informácii o jednodlivých pixeloch. Ich farba /albedo, difúzna, spekulárna žložka, PBR energia povrchu/, normály, depth buffer, motion vektory. Engine alebo rekonštrukčný kód teda vie, kde sa pixel v troch osiach nachádza a kde sa v priestore pohybuje. Akými pixelami je obklopený alebo bol/bude v ďalšej milisekunde. Či ide o ostré kontrasty, polotieň, tieň bez detailov. Komplikovaný rekonštrukčný kód sa potom snaží uhádnuť tie nové pixely aj podľa kontextu celého obrazu.

 4:30 min - softvérový UE TSR 4K upscaler je v statike na nerozoznanie od natívneho 4K

Budúce APU pre konzoly teda bude musieť naásť miesto na ploche chipu aj pre ML logiku /okrem už spomenutej rasterizácie, compute a raytracingu/ !! Rekonštrukciu obrazu môžte urobiť aj bez HW pomoci ML, ale nerobím si ilúzie o tlaku Nvidie na ďalšie aplikácie ML logiky. Napríklad interpolácia frejmov pri fyzike. Čo môže byť ďalšia oblasť pri fejkovaní v hrách. Hlavný avatar a blízke okolie na 1:1 fyzike a všetko ostatné hlavne vo väčšej vzdialenosti na ML fake rekonštrukcii, kde bude engine reálne počitať iba každých 2-3-4 frame s interpoláciou /tehly v pohybe, vlasy, šaty, laná, autá, vodu/.

Osobne má na tom všetkom teraz "trápi" hlavne ta redundancia na strane grafiky. UE5 engine dynamicky v engine skáče zo 100% softvérovej na 100% HW rasterizáciu podľa komplexnosti toho, čo sa na scéne deje. HW rasterizér je v UE5 o 300-400% pomalší pri renderingu malých /veľmi malých/ polygónov. Pri PS6 skončíte opäť na nejakom stredne veľkom 350 mm2 APU, čo je pomerne malá vecička a ešte to musí stáť pod 100 euro. A potrebujete tam dostať 4 hlavné "gfx" bloky - raster, compute, RT, ML. Určite bude treba prijať nejaké zásadné rozhodnutie a to už na úrovni veľkých grafických middleware /EPIC + GPU vendors/ a urobiť skokovú zmenu a nechať v ďalšej generácií konzol iba rudimentárnu rasterizáciu a vraziť ušetrené prostriedky do compute, RT, ML. Niečo podobné, ako keď sa z PS4 s pomalým, notebookovým 5400 RPM HDD skočilo na najvýkonnejšie herné SSD IOP všetkých čias pri PS5, o roky pred bežným herným PC. Rozhodne si myslim, že práve konzoly určia ďalšiu veľkú hernú paradigmu /gameplay, grafika, fyzika/ už v ďalšej generácii. Presnejšie, že sa konečne zbavíme toho MS-DOS/PS2 dedičstva - celá scéna je statický Potemkin, AI tupá a celá gameplay je uhýbanie a pižlanie nožky bossa so znižovaním jeho HP.