Neuronové vykreslování je nově vznikající technika v hlubokém učení, jejímž cílem je rozšířit klasický kanál počítačové grafiky o neuronové sítě.
Algoritmus neurálního vykreslování bude vyžadovat sadu obrázků představujících různé úhly stejné scény. Tyto snímky budou poté přivedeny do neuronové sítě, aby se vytvořil model, který může vytvářet nové úhly stejné scény.
Brilantnost neuronového vykreslování spočívá v tom, jak dokáže přesně vytvořit detailní fotorealistické scény, aniž by se museli spoléhat na klasické metody, které mohou být výpočetně náročnější.
Než se ponoříme do toho, jak funguje neurální vykreslování, pojďme si projít základy klasického vykreslování.
Co je to klasické vykreslování?
Pojďme nejprve pochopit typické metody používané v klasickém vykreslování.
Klasické vykreslování označuje soubor technik používaných k vytvoření 2D obrazu trojrozměrné scény. Klasické vykreslování, známé také jako syntéza obrazu, používá různé algoritmy k simulaci toho, jak světlo interaguje s různými typy objektů.
Například vykreslení plné cihly bude vyžadovat zvláštní sadu algoritmů k určení polohy stínu nebo toho, jak dobře budou osvětleny obě strany stěny. Podobně předměty, které odrážejí nebo lámou světlo, jako je zrcadlo, lesklý předmět nebo vodní plocha, budou také vyžadovat své vlastní techniky.
V klasickém vykreslování je každý prvek reprezentován polygonovou sítí. Program shaderu pak použije polygon jako vstup k určení toho, jak bude objekt vypadat při daném osvětlení a úhlu.
Realistické vykreslování bude vyžadovat mnohem větší výpočetní výkon, protože naše aktiva mají nakonec miliony polygonů, které lze použít jako vstup. Počítačově generovaný výstup, který je běžný v hollywoodských trhácích, se obvykle vykresluje týdny nebo dokonce měsíce a může stát miliony dolarů.
Přístup sledování paprsku je zvláště nákladný, protože každý pixel v konečném obrazu vyžaduje výpočet dráhy světla od zdroje světla k objektu a ke kameře.
Díky pokroku v hardwaru je vykreslování grafiky pro uživatele mnohem dostupnější. Například mnoho z nejnovějších videohry umožňují efekty sledování paprsků, jako jsou fotorealistické odrazy a stíny, pokud jejich hardware odpovídá danému úkolu.
Nejnovější GPU (grafické procesorové jednotky) jsou speciálně navrženy tak, aby pomohly CPU zvládnout vysoce složité výpočty potřebné k vykreslení fotorealistické grafiky.
Vzestup neuronového vykreslování
Neuronové vykreslování se snaží řešit problém vykreslování jiným způsobem. Co kdybychom namísto použití algoritmů k simulaci interakce světla s objekty vytvořili model, který se naučí, jak by scéna měla vypadat z určitého úhlu?
Můžete si to představit jako zkratku k vytváření fotorealistických scén. S neuronovým vykreslováním nepotřebujeme počítat, jak světlo interaguje s objektem, potřebujeme pouze dostatek trénovacích dat.
Tento přístup umožňuje výzkumníkům vytvářet vysoce kvalitní rendery složitých scén, aniž by museli hrát
Co jsou to neuronová pole?
Jak již bylo zmíněno dříve, většina 3D renderů používá polygonové sítě k ukládání dat o tvaru a struktuře každého objektu.
Neuronová pole však získávají na popularitě jako alternativní metoda reprezentace trojrozměrných objektů. Na rozdíl od polygonových sítí jsou neuronová pole diferencovatelná a spojitá.
Co máme na mysli, když říkáme, že neuronová pole jsou diferencovatelná?
2D výstup z neurálního pole lze nyní trénovat tak, aby se stal fotorealistickým jednoduchým nastavením vah neuronové sítě.
Pomocí neuronových polí již nepotřebujeme simulovat fyziku světla, abychom vykreslili scénu. Znalost toho, jak bude finální render nasvícen, je nyní implicitně uložena uvnitř našich vah nervová síť.
To nám umožňuje poměrně rychle vytvářet nové obrázky a videa z pouhé hrstky fotografií nebo videozáznamů.
Jak trénovat neurální pole?
Nyní, když známe základy fungování neurálního pole, pojďme se podívat na to, jak jsou výzkumníci schopni trénovat pole neurálního záření resp. NeRF.
Nejprve budeme muset navzorkovat náhodné souřadnice scény a vložit je do neuronové sítě. Tato síť pak bude schopna produkovat polní množství.
Produkovaná pole jsou považována za vzorky z požadované rekonstrukční domény scény, kterou chceme vytvořit.
Poté budeme muset rekonstrukci namapovat na skutečné 2D obrázky. Algoritmus pak vypočítá chybu rekonstrukce. Tato chyba povede neuronovou síť k optimalizaci její schopnosti rekonstruovat scénu.
Aplikace neuronového vykreslování
Syntéza nového pohledu
Syntéza nového pohledu se týká úkolu vytvářet perspektivy kamery z nových úhlů pomocí dat z omezeného počtu perspektiv.
Techniky neuronového vykreslování se snaží uhodnout relativní polohu kamery pro každý snímek v datové sadě a předávat tato data do neuronové sítě.
Neuronová síť pak vytvoří 3D reprezentaci scény, kde každý bod ve 3D prostoru má přiřazenou barvu a hustotu.
Nová implementace NeRF v Google Street View využívá novou syntézu pohledů, která uživatelům umožňuje prozkoumávat místa v reálném světě, jako by ovládali kameru pořizující video. To umožňuje turistům prozkoumat destinace pohlcujícím způsobem, než se rozhodnou cestovat na konkrétní místo.
Fotorealistické avatary
Pokročilé techniky neurálního vykreslování mohou také připravit cestu pro realističtější digitální avatary. Tyto avatary pak lze použít pro různé role, jako jsou virtuální asistenti nebo zákaznický servis, nebo jako způsob, jak mohou uživatelé vložit svou podobiznu do videohra nebo simulovaný render.
Například, papír zveřejněný v březnu 2023 navrhuje použití technik neurálního vykreslování k vytvoření fotorealistického avatara po několika minutách videozáznamu.
Proč investovat do čističky vzduchu?
Neuronové vykreslování je vzrušující studijní obor, který má potenciál změnit celý průmysl počítačové grafiky.
Tato technologie by mohla snížit vstupní bariéru pro vytváření 3D aktiv. Týmy vizuálních efektů už možná nebudou muset čekat dny na vykreslení několika minut fotorealistické grafiky.
Kombinace technologie se stávajícími aplikacemi VR a AR může také vývojářům umožnit vytvořit působivější zážitky.
Jaký je podle vás skutečný potenciál pro neurální vykreslování?
Napsat komentář