Neuronsko renderiranje je nova tehnika u dubokom učenju koja ima za cilj da dopuni klasični cevovod kompjuterske grafike neuronskim mrežama.
Algoritam neuronskog renderiranja će zahtijevati skup slika koje predstavljaju različite uglove iste scene. Ove slike će se zatim uneti u neuronsku mrežu kako bi se stvorio model koji može prikazati nove uglove iste scene.
Briljantnost neuronskog renderiranja leži u tome kako može precizno rekreirati detaljne fotorealistične scene bez potrebe da se oslanja na klasične metode koje mogu biti računski zahtjevnije.
Prije nego što uđemo u to kako funkcionira neuronsko renderiranje, prijeđimo na osnove klasičnog renderiranja.
Šta je klasično renderovanje?
Hajde da prvo razumemo tipične metode koje se koriste u klasičnom renderovanju.
Klasično renderovanje se odnosi na skup tehnika koje se koriste za kreiranje 2D slike trodimenzionalne scene. Poznato i kao sinteza slike, klasično renderiranje koristi različite algoritme za simulaciju interakcije svjetlosti s različitim tipovima objekata.
Na primjer, renderiranje čvrste cigle će zahtijevati određeni skup algoritama za određivanje položaja sjene ili koliko će dobro osvijetliti obje strane zida. Slično tome, objekti koji reflektiraju ili prelamaju svjetlost, kao što su ogledalo, sjajni predmet ili vodeno tijelo, također će zahtijevati svoje tehnike.
U klasičnom prikazivanju, svaki element je predstavljen poligonskom mrežom. Program za sjenčanje će tada koristiti poligon kao ulaz da odredi kako će objekt izgledati s obzirom na specificirano osvjetljenje i ugao.
Realno renderovanje će zahtevati mnogo više računarske snage jer naša sredstva na kraju imaju milione poligona za upotrebu kao ulaz. Kompjuterski generisani izlaz koji je uobičajen u holivudskim blokbasterima obično traje nedeljama ili čak mesecima da se prikaže i može koštati milione dolara.
Pristup praćenja zraka je posebno skup jer svaki piksel na konačnoj slici zahtijeva proračun putanje svjetlosti od izvora svjetlosti do objekta i do kamere.
Napredak u hardveru učinio je grafičko prikazivanje mnogo pristupačnijim za korisnike. Na primjer, mnoge od najnovijih video igrice omogućavaju efekte praćene zrakama kao što su foto-realistične refleksije i sjene sve dok je njihov hardver na visini zadatka.
Najnoviji GPU-ovi (jedinice za grafičku obradu) su napravljeni posebno da pomognu CPU-u da se nosi sa veoma složenim proračunima potrebnim za renderovanje foto-realistične grafike.
Uspon neuronskog prikazivanja
Neuralno prikazivanje pokušava riješiti problem renderiranja na drugačiji način. Umjesto da koristimo algoritme za simulaciju interakcije svjetlosti s objektima, što ako kreiramo model koji uči kako bi scena trebala izgledati iz određenog ugla?
Možete ga zamisliti kao prečicu za stvaranje fotorealističnih scena. Sa neuronskim renderiranjem, ne moramo izračunati kako svjetlost stupa u interakciju s objektom, potrebno nam je samo dovoljno podataka za obuku.
Ovaj pristup omogućava istraživačima da kreiraju visokokvalitetne rendere složenih scena bez potrebe za izvođenjem
Šta su neuronska polja?
Kao što je ranije spomenuto, većina 3D rendera koristi poligone mreže za pohranu podataka o obliku i teksturi svakog objekta.
Međutim, neuronska polja postaju sve popularnija kao alternativna metoda predstavljanja trodimenzionalnih objekata. Za razliku od poligonskih mreža, neuronska polja su diferencibilna i kontinuirana.
Šta mislimo kada kažemo da se neuronska polja mogu razlikovati?
2D izlaz iz neuronskog polja sada se može trenirati da postane fotorealističan jednostavnim podešavanjem težine neuronske mreže.
Koristeći neuronska polja, više ne moramo simulirati fiziku svjetlosti da bismo prikazali scenu. Znanje o tome kako će konačni render biti osvijetljen sada je implicitno pohranjeno unutar naših težina neuronska mreža.
Ovo nam omogućava da kreiramo nove slike i video zapise relativno brzo od samo nekoliko fotografija ili video snimaka.
Kako trenirati neuronsko polje?
Sada kada znamo osnove kako funkcionira neuronsko polje, pogledajmo kako su istraživači u stanju trenirati polje neuralnog zračenja ili NeRF.
Prvo, moraćemo uzorkovati nasumične koordinate scene i ubaciti ih u neuronsku mrežu. Ova mreža će tada moći proizvoditi količine na terenu.
Proizvedene količine polja smatraju se uzorcima iz željene domene rekonstrukcije scene koju želimo kreirati.
Zatim ćemo morati mapirati rekonstrukciju na stvarne 2D slike. Algoritam će tada izračunati grešku rekonstrukcije. Ova greška će voditi neuronsku mrežu da optimizira svoju sposobnost rekonstrukcije scene.
Primjena neuronskog renderiranja
Novel View Synthesis
Nova sinteza pogleda odnosi se na zadatak kreiranja perspektiva kamere iz novih uglova koristeći podatke iz ograničenog broja perspektiva.
Tehnike neuronskog renderiranja pokušavaju pogoditi relativnu poziciju kamere za svaku sliku u skupu podataka i uneti te podatke u neuronsku mrežu.
Neuronska mreža će tada kreirati 3D prikaz scene gdje svaka tačka u 3D prostoru ima pridruženu boju i gustinu.
Nova implementacija NeRF-a u Google Street View koristi novu sintezu prikaza kako bi omogućio korisnicima da istražuju lokacije u stvarnom svijetu kao da kontroliraju kameru koja snima video. To omogućava turistima da istraže destinacije na impresivan način prije nego što odluče putovati na određeno mjesto.
Fotorealistični avatari
Napredne tehnike neuronskog renderiranja također mogu utrti put za realističnije digitalne avatare. Ovi avatari se zatim mogu koristiti za različite uloge kao što su virtuelni asistenti ili korisnička služba, ili kao način da korisnici umetnu svoju sliku u video igrica ili simulirani render.
Na primjer, a papir objavljeno u martu 2023. predlaže korištenje tehnika neuronskog renderiranja za kreiranje foto-realističkog avatara nakon nekoliko minuta video snimka.
zaključak
Neuronsko prikazivanje je uzbudljivo polje proučavanja koje ima potencijal da promijeni cijelu industriju kompjuterske grafike.
Tehnologija bi mogla smanjiti barijeru ulaska za kreiranje 3D imovine. Timovi za vizuelne efekte možda više neće morati da čekaju danima da bi prikazali nekoliko minuta foto-realistične grafike.
Kombinacija tehnologije s postojećim VR i AR aplikacijama također može omogućiti programerima da stvore impresivnija iskustva.
Šta mislite šta je pravi potencijal za neuronsko prikazivanje?
Ostavite odgovor