Neurorenderöinti on nouseva syväoppimisen tekniikka, jonka tavoitteena on täydentää tietokonegrafiikan klassista putkistoa hermoverkoilla.
Neuraalinen renderöintialgoritmi vaatii joukon kuvia, jotka edustavat saman kohtauksen eri kulmia. Nämä kuvat syötetään sitten hermoverkkoon mallin luomiseksi, joka voi tuottaa uusia kuvakulmia samasta kohtauksesta.
Neuraalisen renderöinnin loisto piilee siinä, kuinka se pystyy luomaan tarkasti yksityiskohtaisia fotorealistisia kohtauksia ilman, että tarvitsee luottaa klassisiin menetelmiin, jotka saattavat olla laskennallisesti vaativampia.
Ennen kuin sukeltaa hermotoiston toimintaan, käydään läpi klassisen renderöinnin perusteet.
Mikä on klassinen renderöinti?
Ymmärretään ensin tyypilliset klassisen renderöinnin menetelmät.
Klassinen renderöinti viittaa tekniikoihin, joita käytetään luomaan 2D-kuva kolmiulotteisesta kohtauksesta. Klassinen renderöinti, joka tunnetaan myös nimellä kuvasynteesi, käyttää erilaisia algoritmeja simuloimaan valon vuorovaikutusta erityyppisten kohteiden kanssa.
Esimerkiksi kiinteän tiilen renderöiminen vaatii tietyn algoritmisarjan varjon sijainnin määrittämiseksi tai kuinka hyvin valaistu seinän kummallakin puolella on. Vastaavasti valoa heijastavat tai taittavat esineet, kuten peili, kiiltävä esine tai vesistö, vaativat myös omat tekniikansa.
Klassisessa renderöinnissä jokainen sisältö esitetään monikulmioverkolla. Shader-ohjelma käyttää sitten monikulmiota syötteenä määrittääkseen, miltä kohde näyttää määritetyllä valaistuksella ja kulmalla.
Realistinen renderöinti vaatii paljon enemmän laskentatehoa, koska resursseissamme on miljoonia polygoneja käytettäväksi syötteenä. Hollywoodin menestyselokuvissa yleisen tietokoneella tuotetun tulosteen renderöinti kestää yleensä viikkoja tai jopa kuukausia, ja se voi maksaa miljoonia dollareita.
Säteenseurantamenetelmä on erityisen kallis, koska jokainen lopullisen kuvan pikseli vaatii laskennan valon reitin valonlähteestä kohteeseen ja kameraan.
Laitteiston kehitys on tehnyt grafiikan renderöimisestä paljon helpompaa käyttäjien saataville. Esimerkiksi monet uusimmat Videopelit sallia säteilyjäljitetyt tehosteet, kuten fotorealistiset heijastukset ja varjot, kunhan niiden laitteisto on tehtävänsä mukainen.
Uusimmat GPU:t (grafiikkaprosessoriyksiköt) on rakennettu erityisesti auttamaan CPU:ta käsittelemään erittäin monimutkaisia laskelmia, joita tarvitaan valokuvarealistisen grafiikan tekemiseen.
Neuraalisen renderoinnin nousu
Neuraalinen renderöinti yrittää ratkaista renderöintiongelman eri tavalla. Sen sijaan, että käyttäisimme algoritmeja simuloimaan valon vuorovaikutusta esineiden kanssa, entä jos luomme mallin, joka oppii, miltä kohtauksen pitäisi näyttää tietystä kulmasta?
Voit ajatella sitä pikakuvakkeena fotorealististen kohtausten luomiseen. Hermorenderöinnissä meidän ei tarvitse laskea valon vuorovaikutusta kohteen kanssa, tarvitsemme vain tarpeeksi harjoitusdataa.
Tämän lähestymistavan avulla tutkijat voivat luoda korkealaatuisia renderöityjä monimutkaisista kohtauksista ilman esiintymistä
Mitä ovat hermokentät?
Kuten aiemmin mainittiin, useimmat 3D-renderöijät käyttävät monikulmioverkkoja tallentaakseen tietoja kunkin objektin muodosta ja tekstuurista.
Neuraalikentät ovat kuitenkin saamassa suosiota vaihtoehtoisena menetelmänä kolmiulotteisten objektien esittämiseen. Toisin kuin polygoniverkot, hermokentät ovat differentioituvia ja jatkuvia.
Mitä tarkoitamme, kun sanomme, että hermokentät ovat differentioituvia?
Hermokentän 2D-tulostus voidaan nyt harjoitella fotorealistiseksi yksinkertaisesti säätämällä hermoverkon painoja.
Neurokenttien avulla meidän ei enää tarvitse simuloida valon fysiikkaa näkymän renderöimiseksi. Tieto siitä, kuinka lopullinen renderöinti syttyy, on nyt tallennettu implisiittisesti painojemme sisään neuroverkkomallien.
Näin voimme luoda uusia kuvia ja videoita suhteellisen nopeasti vain kourallisista valokuvista tai videomateriaalista.
Kuinka kouluttaa hermokenttää?
Nyt kun tiedämme hermokentän toiminnan perusteet, katsotaanpa, kuinka tutkijat pystyvät harjoittelemaan hermosäteilykenttää tai NeRF.
Ensin meidän on otettava näyte kohtauksen satunnaisista koordinaateista ja syötettävä ne neuroverkkoon. Tämä verkko pystyy sitten tuottamaan kenttämääriä.
Tuotettuja kenttämääriä pidetään näytteinä luotavan kohtauksen halutusta rekonstruktioalueesta.
Meidän on sitten kartoitettava rekonstruktio todellisiin 2D-kuviin. Sitten algoritmi laskee rekonstruktiovirheen. Tämä virhe ohjaa hermoverkkoa optimoimaan kykynsä rekonstruoida kohtaus.
Neuraalisen renderoinnin sovellukset
Novel View -synteesi
Uuden näkymän synteesi tarkoittaa tehtävää luoda kameran perspektiivejä uusista kulmista käyttämällä dataa rajoitetuista näkökulmista.
Hermoston renderöintitekniikat yrittävät arvata kameran suhteellisen sijainnin jokaiselle tietojoukon kuvalle ja syöttää tiedot hermoverkkoon.
Neuraaliverkko luo sitten 3D-esityksen kohtauksesta, jossa jokaisella 3D-avaruuden pisteellä on väri ja tiheys.
Uusi NeRF-toteutus vuonna Google Street View käyttää uutta näkymän synteesiä, jotta käyttäjät voivat tutkia todellisia paikkoja ikään kuin he ohjaisivat videota kuvaavaa kameraa. Näin turistit voivat tutustua kohteisiin mukaansatempaavalla tavalla ennen kuin he päättävät matkustaa tiettyyn paikkaan.
Valokuvarealistiset avatarit
Kehittyneet tekniikat hermotoistossa voivat myös tasoittaa tietä realistisemmille digitaalisille avatareille. Näitä avatareja voidaan sitten käyttää erilaisissa rooleissa, kuten virtuaaliassistenteissa tai asiakaspalvelussa, tai tapana, jolla käyttäjät voivat lisätä kaltaisiaan videopeli tai simuloitu renderöinti.
Esimerkiksi paperi maaliskuussa 2023 julkaistussa julkaisussa ehdotetaan hermotoistotekniikoiden käyttämistä fotorealistisen avatarin luomiseen muutaman minuutin videomateriaalin jälkeen.
Yhteenveto
Neurorenderöinti on jännittävä tutkimusala, jolla on potentiaalia muuttaa koko tietokonegrafiikkateollisuutta.
Tekniikka voisi alentaa 3D-resurssien luomisen esteitä. Visuaaliset tehosteet -tiimien ei ehkä enää tarvitse odottaa päiviä muutaman minuutin valokuvarealistisen grafiikan tekemiseen.
Teknologian yhdistäminen olemassa oleviin VR- ja AR-sovelluksiin voi myös antaa kehittäjille mahdollisuuden luoda mukaansatempaavampia kokemuksia.
Mikä on mielestäsi hermotoiston todellinen potentiaali?
Jätä vastaus