Neurónové vykresľovanie je novovznikajúca technika v hlbokom učení, ktorej cieľom je rozšíriť klasický reťazec počítačovej grafiky o neurónové siete.
Algoritmus neurónového vykresľovania bude vyžadovať súbor obrázkov reprezentujúcich rôzne uhly tej istej scény. Tieto obrázky sa potom privedú do neurónovej siete, aby sa vytvoril model, ktorý dokáže vytvoriť nové uhly tej istej scény.
Brilantnosť za neurónovým vykresľovaním spočíva v tom, ako dokáže presne vytvoriť detailné fotorealistické scény bez toho, aby ste sa museli spoliehať na klasické metódy, ktoré môžu byť výpočtovo náročnejšie.
Predtým, ako sa ponoríme do toho, ako funguje neurónové vykresľovanie, prejdime si základy klasického vykresľovania.
Čo je to klasické vykresľovanie?
Poďme najprv pochopiť typické metódy používané pri klasickom vykresľovaní.
Klasické vykresľovanie označuje súbor techník používaných na vytvorenie 2D obrazu trojrozmernej scény. Klasické vykresľovanie, známe tiež ako syntéza obrazu, používa rôzne algoritmy na simuláciu interakcie svetla s rôznymi typmi objektov.
Napríklad vykreslenie plnej tehly bude vyžadovať konkrétnu sadu algoritmov na určenie polohy tieňa alebo toho, ako dobre budú osvetlené strany steny. Podobne predmety, ktoré odrážajú alebo lámu svetlo, ako je zrkadlo, lesklý predmet alebo vodná plocha, budú tiež vyžadovať svoje vlastné techniky.
V klasickom vykresľovaní je každý prvok reprezentovaný mnohouholníkovou sieťou. Program shader potom použije polygón ako vstup na určenie toho, ako bude objekt vyzerať pri zadanom osvetlení a uhle.
Realistické vykresľovanie si bude vyžadovať oveľa väčší výpočtový výkon, pretože naše aktíva majú nakoniec milióny polygónov, ktoré sa môžu použiť ako vstup. Počítačom generovaný výstup, ktorý je bežný v hollywoodskych trhákoch, zvyčajne trvá týždne alebo dokonca mesiace, kým sa vykreslí a môže stáť milióny dolárov.
Prístup sledovania lúčov je obzvlášť nákladný, pretože každý pixel na konečnom obrázku vyžaduje výpočet dráhy svetla od zdroja svetla k objektu a ku kamere.
Vďaka pokroku v hardvéri je vykresľovanie grafiky pre používateľov oveľa dostupnejšie. Napríklad mnohé najnovšie videohry umožňujú efekty sledovania lúčov, ako sú fotorealistické odrazy a tiene, pokiaľ ich hardvér spĺňa danú úlohu.
Najnovšie GPU (grafické procesorové jednotky) sú špeciálne skonštruované tak, aby pomohli CPU zvládnuť veľmi zložité výpočty potrebné na vykreslenie fotorealistickej grafiky.
Vzostup neurálneho vykresľovania
Neurónové vykresľovanie sa pokúša riešiť problém vykresľovania iným spôsobom. Čo keby sme namiesto použitia algoritmov na simuláciu interakcie svetla s objektmi vytvorili model, ktorý sa naučí, ako by mala scéna vyzerať z určitého uhla?
Môžete si to predstaviť ako skratku k vytváraniu fotorealistických scén. Pri neurónovom vykresľovaní nepotrebujeme počítať, ako svetlo interaguje s objektom, stačí nám dostatok tréningových dát.
Tento prístup umožňuje výskumníkom vytvárať vysokokvalitné rendery zložitých scén bez toho, aby museli hrať
Čo sú neurónové polia?
Ako už bolo spomenuté, väčšina 3D renderov používa polygónové siete na ukladanie údajov o tvare a textúre každého objektu.
Neurónové polia však získavajú na popularite ako alternatívna metóda reprezentácie trojrozmerných objektov. Na rozdiel od polygónových sietí sú neurónové polia diferencovateľné a spojité.
Čo máme na mysli, keď hovoríme, že neurónové polia sú diferencovateľné?
2D výstup z neurónového poľa môže byť teraz trénovaný tak, aby sa stal fotorealistickým jednoduchým nastavením váh neurónovej siete.
Pomocou neurónových polí už nepotrebujeme simulovať fyziku svetla na vykreslenie scény. Vedomosti o tom, ako bude konečný render svietiť, sú teraz implicitne uložené vo vnútri našich váh neurónové sieť.
To nám umožňuje pomerne rýchlo vytvárať nové obrázky a videá z niekoľkých fotografií alebo videozáznamov.
Ako trénovať neurónové pole?
Teraz, keď už poznáme základy fungovania neurálneho poľa, pozrime sa, ako sú výskumníci schopní trénovať pole neurálneho žiarenia resp. NeRF.
Najprv budeme musieť navzorkovať náhodné súradnice scény a priviesť ich do neurónovej siete. Táto sieť potom bude schopná produkovať poľné množstvá.
Produkované množstvá polí sa považujú za vzorky z požadovanej oblasti rekonštrukcie scény, ktorú chceme vytvoriť.
Potom budeme musieť rekonštrukciu namapovať na skutočné 2D obrázky. Algoritmus potom vypočíta chybu rekonštrukcie. Táto chyba povedie neurónovú sieť k optimalizácii jej schopnosti rekonštruovať scénu.
Aplikácie neurónového vykresľovania
Syntéza nového pohľadu
Syntéza nového pohľadu sa týka úlohy vytvárania perspektív kamery z nových uhlov pomocou údajov z obmedzeného počtu perspektív.
Techniky neurónového vykresľovania sa pokúšajú uhádnuť relatívnu polohu kamery pre každý obrázok v súbore údajov a privádzajú tieto údaje do neurónovej siete.
Neurónová sieť potom vytvorí 3D reprezentáciu scény, kde každý bod v 3D priestore má priradenú farbu a hustotu.
Nová implementácia NeRF v Google Street View využíva novú syntézu pohľadov, ktorá používateľom umožňuje skúmať miesta v reálnom svete, ako keby ovládali kameru natáčajúcu video. To umožňuje turistom preskúmať destinácie pohlcujúcim spôsobom predtým, ako sa rozhodnú cestovať na konkrétne miesto.
Fotorealistické avatary
Pokročilé techniky v neurónovom vykresľovaní môžu tiež pripraviť cestu pre realistickejšie digitálne avatary. Tieto avatary potom možno použiť pre rôzne roly, ako sú virtuálni asistenti alebo zákaznícky servis, alebo ako spôsob, akým môžu používatelia vložiť svoju podobizeň do videohra alebo simulovaný render.
Napríklad a papier publikované v marci 2023 navrhuje použitie techník neurónového vykresľovania na vytvorenie fotorealistického avatara po niekoľkých minútach videozáznamu.
záver
Neurónové vykresľovanie je vzrušujúci študijný odbor, ktorý má potenciál zmeniť celý priemysel počítačovej grafiky.
Táto technológia by mohla znížiť bariéru vstupu na vytváranie 3D aktív. Tímy vizuálnych efektov už možno nebudú musieť čakať dni na vykreslenie niekoľkých minút fotorealistickej grafiky.
Kombinácia technológie s existujúcimi aplikáciami VR a AR môže tiež umožniť vývojárom vytvárať pôsobivejšie zážitky.
Aký je podľa vás skutočný potenciál neurálneho vykresľovania?
Nechaj odpoveď