A neurális renderelés a mély tanulás egyik feltörekvő technikája, amelynek célja, hogy neurális hálózatokkal egészítse ki a számítógépes grafika klasszikus folyamatát.
Egy neurális renderelő algoritmushoz egy adott jelenet különböző szögeit ábrázoló képekre lesz szükség. Ezeket a képeket ezután egy neurális hálózatba táplálják, hogy létrehozzanak egy olyan modellt, amely ugyanannak a jelenetnek az új szögeit képes megjeleníteni.
A neurális renderelés mögött rejlő ragyogás abban rejlik, hogy hogyan képes pontosan újrateremteni a részletes fotorealisztikus jeleneteket anélkül, hogy a klasszikus módszerekre kellene hagyatkoznia, amelyek számításigényesebbek.
Mielőtt belemerülnénk a neurális renderelés működésébe, tekintsük át a klasszikus renderelés alapjait.
Mi az a klasszikus renderelés?
Először ismerjük meg a klasszikus renderelésben használt tipikus módszereket.
A klasszikus renderelés a háromdimenziós jelenet 2D-s képének létrehozására használt technikák összességét jelenti. Képszintézisként is ismert, a klasszikus renderelés különféle algoritmusokat használ annak szimulálására, hogy a fény hogyan lép kölcsönhatásba a különböző típusú objektumokkal.
Például egy tömör tégla rendereléséhez egy adott algoritmuskészletre lesz szükség az árnyék helyzetének vagy a fal mindkét oldalának megvilágításának meghatározásához. Hasonlóképpen, a fényt visszaverő vagy megtörő tárgyak, például tükör, fényes tárgy vagy víztömeg is saját technikát igényelnek.
A klasszikus renderelésben minden elem poligonhálóval van ábrázolva. Egy shader program ezután a sokszöget használja bemenetként annak meghatározására, hogy az objektum hogyan fog kinézni a megadott megvilágítás és szög mellett.
A valósághű megjelenítés sokkal nagyobb számítási teljesítményt igényel, mivel eszközeink végül több millió sokszöget használnak bemenetként. A hollywoodi kasszasikerekben megszokott számítógép által generált kimenet általában hetekig vagy akár hónapokig tart, és több millió dollárba kerül.
A sugárkövetési megközelítés különösen költséges, mivel a végső kép minden egyes pixeléhez ki kell számítani a fény útját a fényforrástól a tárgyig és a kameráig.
A hardver fejlődése a grafikus megjelenítést sokkal elérhetőbbé tette a felhasználók számára. Például sok a legújabb videojátékok lehetővé teszik a sugárkövetési effektusokat, például a fotorealisztikus tükröződéseket és az árnyékokat, mindaddig, amíg a hardver alkalmas a feladatra.
A legújabb GPU-k (grafikus feldolgozó egységek) kifejezetten azért készültek, hogy segítsék a CPU-t a rendkívül összetett számítások kezelésében, amelyek a fotórealisztikus grafikák megjelenítéséhez szükségesek.
A neurális rendering felemelkedése
A neurális renderelés más módon próbálja megoldani a renderelési problémát. Ahelyett, hogy algoritmusokat használnánk a fény és a tárgyak közötti kölcsönhatás szimulálására, mi lenne, ha létrehoznánk egy modellt, amely megtanulja, hogyan kell egy jelenetnek kinéznie egy bizonyos szögből?
Felfoghatja úgy, mint egy parancsikont a fotorealisztikus jelenetek létrehozásához. A neurális renderelésnél nem kell kiszámolnunk, hogy a fény hogyan lép kölcsönhatásba egy tárggyal, csak elegendő betanítási adatra van szükségünk.
Ez a megközelítés lehetővé teszi a kutatóknak, hogy kiváló minőségű rendereléseket készítsenek összetett jelenetekről anélkül, hogy elő kellene lépniük
Mik azok a neurális mezők?
Ahogy korábban említettük, a legtöbb 3D-s render sokszöghálót használ az egyes objektumok alakjára és textúrájára vonatkozó adatok tárolására.
A neurális mezők azonban egyre népszerűbbek a háromdimenziós objektumok ábrázolásának alternatív módszereként. A sokszöghálókkal ellentétben a neurális mezők differenciálhatók és folytonosak.
Mit értünk azon, amikor azt mondjuk, hogy a neurális mezők differenciálhatók?
A neurális mező 2D-s kimenete immár a neurális hálózat súlyának beállításával fotorealisztikussá alakítható.
Neurális mezőket használva többé nem kell szimulálnunk a fény fizikáját a jelenet megjelenítéséhez. Az a tudás, hogy a végső render hogyan fog világítani, implicit módon a mi súlyunkban tárolódik neurális hálózat.
Ez lehetővé teszi, hogy viszonylag gyorsan újszerű képeket és videókat készítsünk csupán néhány fényképből vagy videófelvételből.
Hogyan lehet neurális mezőt edzeni?
Most, hogy ismerjük az idegi mező működésének alapjait, nézzük meg, hogyan képesek a kutatók egy neurális sugárzási mezőt, ill. NeRF.
Először is mintát kell venni egy jelenet véletlenszerű koordinátáiból, és be kell táplálnunk őket egy neurális hálózatba. Ez a hálózat ezután képes lesz terepi mennyiségek előállítására.
Az előállított terepi mennyiségeket mintáknak tekintjük a létrehozni kívánt jelenet kívánt rekonstrukciós tartományából.
Ezután a rekonstrukciót tényleges 2D-s képekre kell leképeznünk. Ezután egy algoritmus kiszámítja a rekonstrukciós hibát. Ez a hiba irányítja a neurális hálózatot, hogy optimalizálja a jelenet rekonstrukciós képességét.
A neurális renderelés alkalmazásai
Regénynézet szintézis
Az újszerű nézetszintézis arra a feladatra vonatkozik, hogy korlátozott számú perspektívából származó adatok felhasználásával új szögekből hozzon létre kameraperspektívákat.
A neurális renderelési technikák megpróbálják kitalálni a kamera relatív helyzetét az adathalmaz minden egyes képénél, és ezeket az adatokat egy neurális hálózatba táplálják.
A neurális hálózat ezután létrehozza a jelenet 3D-s ábrázolását, ahol a 3D-s tér minden pontjához hozzátartozik a szín és a sűrűség.
A NeRF-ek új megvalósítása in Google Street View újszerű nézetszintézist használ, amely lehetővé teszi a felhasználók számára, hogy felfedezzék a való világ helyszíneit, mintha egy videót készítő kamerát irányítanának. Ez lehetővé teszi a turisták számára, hogy magával ragadó módon fedezzék fel a célpontokat, mielőtt úgy döntenek, hogy egy adott helyszínre utaznak.
Fotórealisztikus avatarok
A neurális renderelés fejlett technikái a valósághűbb digitális avatárok előtt is utat nyithatnak. Ezeket az avatarokat azután különféle szerepekben, például virtuális asszisztensekben vagy ügyfélszolgálatban használhatják, vagy arra, hogy a felhasználók beillesszék képmásukat egy videojáték vagy szimulált render.
Például egy papír 2023 márciusában publikált neurális renderelési technikák használatát javasolja, hogy néhány perces videófelvétel után fotórealisztikus avatárt készítsenek.
Következtetés
A neurális renderelés izgalmas kutatási terület, amely képes megváltoztatni az egész számítógépes grafikai ipart.
A technológia csökkentheti a belépési korlátot a 3D-s eszközök létrehozásához. Előfordulhat, hogy a vizuális effektusokkal foglalkozó csapatoknak többé nem kell napokat várniuk, hogy néhány perces fotórealisztikus grafikát készítsenek.
A technológia és a meglévő VR- és AR-alkalmazások kombinálása azt is lehetővé teheti a fejlesztők számára, hogy magával ragadóbb élményeket hozzanak létre.
Ön szerint miben rejlik az igazi potenciál a neurális renderelésben?
Hagy egy Válaszol