Neuralno renderiranje nova je tehnika u dubinskom učenju koja ima za cilj povećati klasični cjevovod računalne grafike neuronskim mrežama.
Algoritam neuralnog renderiranja zahtijevat će skup slika koje predstavljaju različite kutove iste scene. Te će slike zatim biti unesene u neuronsku mrežu kako bi se stvorio model koji može prikazati nove kutove iste scene.
Briljantnost iza neuralnog renderiranja leži u tome kako može precizno rekreirati detaljne fotorealistične scene bez oslanjanja na klasične metode koje mogu biti računalno zahtjevnije.
Prije nego što se upustimo u to kako funkcionira neuronsko iscrtavanje, prođimo kroz osnove klasičnog iscrtavanja.
Što je klasično renderiranje?
Prvo shvatimo tipične metode koje se koriste u klasičnom iscrtavanju.
Klasično iscrtavanje odnosi se na skup tehnika koje se koriste za stvaranje 2D slike trodimenzionalne scene. Poznato i kao sinteza slike, klasično renderiranje koristi različite algoritme za simulaciju interakcije svjetlosti s različitim vrstama objekata.
Na primjer, renderiranje pune cigle zahtijevat će određeni skup algoritama za određivanje položaja sjene ili koliko će dobro osvijetliti obje strane zida. Slično tome, predmeti koji reflektiraju ili lome svjetlost, poput ogledala, sjajnog predmeta ili vodene površine, također će zahtijevati vlastite tehnike.
U klasičnom renderiranju, svaki element je predstavljen poligonskom mrežom. Program za osjenčavanje zatim će koristiti poligon kao ulaz za određivanje kako će objekt izgledati s obzirom na navedeno osvjetljenje i kut.
Realistično prikazivanje zahtijevat će mnogo više računalne snage budući da naša imovina na kraju ima milijune poligona za korištenje kao ulaz. Računalno generirani rezultat koji je uobičajen u holivudskim blockbusterima obično traje nekoliko tjedana ili čak mjeseci da se renderira i može stajati milijune dolara.
Pristup praćenja zraka posebno je skup jer svaki piksel na konačnoj slici zahtijeva izračun putanje svjetlosti od izvora svjetlosti do objekta i do kamere.
Napredak u hardveru učinio je prikaz grafike mnogo pristupačnijim za korisnike. Na primjer, mnogi od najnovijih video igre omogućuju efekte praćenja zraka kao što su foto-realistične refleksije i sjene sve dok je njihov hardver dorastao zadatku.
Najnoviji GPU-ovi (jedinice za grafičku obradu) izgrađeni su posebno kako bi pomogli CPU-u da se nosi s vrlo složenim izračunima potrebnim za renderiranje foto-realistične grafike.
Uspon neuralnog renderiranja
Neuralno renderiranje pokušava riješiti problem renderiranja na drugačiji način. Umjesto da koristimo algoritme za simulaciju interakcije svjetlosti s objektima, što ako stvorimo model koji uči kako bi scena trebala izgledati iz određenog kuta?
Možete ga zamisliti kao prečac za stvaranje fotorealističnih scena. S neuralnim renderiranjem ne trebamo izračunati kako svjetlost stupa u interakciju s objektom, potrebno nam je samo dovoljno podataka za obuku.
Ovaj pristup omogućuje istraživačima stvaranje visokokvalitetnih prikaza složenih scena bez potrebe za izvođenjem
Što su neuronska polja?
Kao što je ranije spomenuto, većina 3D renderiranja koristi poligonske mreže za pohranu podataka o obliku i teksturi svakog objekta.
Međutim, neuronska polja postaju sve popularnija kao alternativna metoda predstavljanja trodimenzionalnih objekata. Za razliku od poligonskih mreža, neuronska polja su diferencijabilna i kontinuirana.
Što mislimo kada kažemo da se neuralna polja mogu razlikovati?
2D izlaz iz neuralnog polja sada se može uvježbati da postane fotorealističan jednostavnim podešavanjem težine neuronske mreže.
Koristeći neuronska polja, više ne moramo simulirati fiziku svjetlosti da bismo prikazali scenu. Znanje o tome kako će konačni render biti osvijetljen sada je implicitno pohranjeno unutar naših težina neuronska mreža.
To nam omogućuje relativno brzo stvaranje novih slika i videozapisa iz samo nekoliko fotografija ili video zapisa.
Kako trenirati neuronsko polje?
Sada kada znamo osnove rada neuralnog polja, pogledajmo kako istraživači mogu trenirati neuralno polje zračenja ili NeRF.
Prvo ćemo morati uzorkovati nasumične koordinate scene i unijeti ih u neuronsku mrežu. Ta će mreža tada moći proizvoditi poljske količine.
Proizvedene količine polja smatraju se uzorcima iz željene domene rekonstrukcije scene koju želimo stvoriti.
Zatim ćemo morati preslikati rekonstrukciju na stvarne 2D slike. Algoritam će tada izračunati pogrešku rekonstrukcije. Ova će pogreška voditi neuronsku mrežu da optimizira svoju sposobnost rekonstrukcije scene.
Primjene neuronskog iscrtavanja
Novel View Synthesis
Nova sinteza prikaza odnosi se na zadatak stvaranja perspektiva kamere iz novih kutova korištenjem podataka iz ograničenog broja perspektiva.
Tehnike neuralnog renderiranja pokušavaju pogoditi relativni položaj kamere za svaku sliku u skupu podataka i unijeti te podatke u neuronsku mrežu.
Neuronska mreža će zatim stvoriti 3D prikaz scene gdje svaka točka u 3D prostoru ima pridruženu boju i gustoću.
Nova implementacija NeRF-ova u Google Street View koristi novu sintezu prikaza kako bi korisnicima omogućio istraživanje lokacija u stvarnom svijetu kao da upravljaju kamerom koja snima video. To turistima omogućuje da istražuju odredišta na impresivan način prije nego što odluče otputovati na određeno mjesto.
Foto-realistični avatari
Napredne tehnike neuralnog renderiranja također mogu utrti put realističnijim digitalnim avatarima. Ti se avatari zatim mogu koristiti za različite uloge kao što su virtualni pomoćnici ili korisnička služba ili kao način na koji korisnici mogu umetnuti svoju sličnost u video igre ili simulirani prikaz.
Na primjer, papir objavljen u ožujku 2023. predlaže korištenje tehnika neuralnog renderiranja za stvaranje foto-realističnog avatara nakon nekoliko minuta videosnimke.
Zaključak
Neuralno renderiranje je uzbudljivo polje proučavanja koje ima potencijal promijeniti cijelu industriju računalne grafike.
Tehnologija bi mogla smanjiti ulaznu barijeru za stvaranje 3D sredstava. Timovi za vizualne efekte možda više neće morati čekati danima da renderiraju nekoliko minuta foto-realistične grafike.
Kombinacija tehnologije s postojećim VR i AR aplikacijama također može omogućiti razvojnim programerima stvaranje impresivnijih iskustava.
Što mislite koji je pravi potencijal za neuralno iscrtavanje?
Ostavi odgovor