Nevronsko upodabljanje je nastajajoča tehnika pri poglobljenem učenju, katere cilj je razširiti klasični cevovod računalniške grafike z nevronskimi mrežami.
Algoritem nevronskega upodabljanja bo zahteval niz slik, ki predstavljajo različne kote istega prizora. Te slike bodo nato vnesene v nevronsko mrežo, da se ustvari model, ki lahko prikaže nove kote iste scene.
Briljantnost nevronskega upodabljanja je v tem, kako lahko natančno poustvari podrobne fotorealistične prizore, ne da bi se moral zanašati na klasične metode, ki so morda računsko zahtevnejše.
Preden se poglobimo v delovanje nevronskega upodabljanja, si poglejmo osnove klasičnega upodabljanja.
Kaj je klasično upodabljanje?
Najprej razumemo tipične metode, ki se uporabljajo pri klasičnem upodabljanju.
Klasično upodabljanje se nanaša na niz tehnik, ki se uporabljajo za ustvarjanje 2D slike tridimenzionalne scene. Klasično upodabljanje, znano tudi kot sinteza slike, uporablja različne algoritme za simulacijo interakcije svetlobe z različnimi vrstami predmetov.
Na primer, upodabljanje polne opeke bo zahtevalo poseben niz algoritmov za določitev položaja sence ali kako dobro bo osvetljena katera koli stran stene. Podobno bodo predmeti, ki odbijajo ali lomijo svetlobo, kot je ogledalo, sijoči predmet ali vodno telo, prav tako zahtevali lastne tehnike.
Pri klasičnem upodabljanju je vsako sredstvo predstavljeno s poligonsko mrežo. Program za senčenje bo nato poligon uporabil kot vhod za določitev, kako bo predmet izgledal glede na določeno osvetlitev in kot.
Realistično upodabljanje bo zahtevalo veliko več računske moči, saj imajo naša sredstva na koncu milijone poligonov, ki jih lahko uporabimo kot vhodne podatke. Upodobitev računalniško ustvarjenega rezultata, ki je pogost v hollywoodskih filmskih uspešnicah, običajno traja tedne ali celo mesece in lahko stane na milijone dolarjev.
Pristop sledenja žarkom je še posebej drag, ker vsak piksel na končni sliki zahteva izračun poti svetlobe od vira svetlobe do predmeta in do kamere.
Napredek v strojni opremi je naredil upodabljanje grafike veliko bolj dostopno za uporabnike. Na primer, veliko najnovejših video igre omogočajo učinke sledenja žarkom, kot so fotorealistični odsevi in sence, če je njihova strojna oprema kos tej nalogi.
Najnovejši GPU-ji (grafične procesne enote) so zgrajeni posebej za pomoč CPE-ju pri zelo zapletenih izračunih, potrebnih za upodabljanje foto-realistične grafike.
Vzpon nevronskega upodabljanja
Nevronsko upodabljanje poskuša problem upodabljanja rešiti na drugačen način. Namesto da bi uporabljali algoritme za simulacijo interakcije svetlobe s predmeti, kaj če bi ustvarili model, ki se uči, kako naj bi prizor izgledal iz določenega kota?
Lahko si ga predstavljate kot bližnjico do ustvarjanja fotorealističnih prizorov. Pri nevronskem upodabljanju nam ni treba izračunati, kako svetloba vpliva na predmet, potrebujemo le dovolj podatkov za usposabljanje.
Ta pristop omogoča raziskovalcem, da ustvarijo visokokakovostne upodobitve zapletenih prizorov, ne da bi morali izvajati
Kaj so nevronska polja?
Kot smo že omenili, večina 3D-upodobitev uporablja poligonske mreže za shranjevanje podatkov o obliki in teksturi vsakega predmeta.
Vendar postajajo nevronska polja vse bolj priljubljena kot alternativna metoda predstavljanja tridimenzionalnih predmetov. Za razliko od poligonskih mrež so nevronska polja razločljiva in neprekinjena.
Kaj mislimo, ko rečemo, da se nevronska polja razlikujejo?
2D izhod iz nevronskega polja je zdaj mogoče usposobiti, da postane fotorealističen s preprostim prilagajanjem uteži nevronske mreže.
Z uporabo nevronskih polj nam ni več treba simulirati fizike svetlobe za upodabljanje scene. Znanje o tem, kako bo končna upodobitev osvetljena, je zdaj implicitno shranjeno znotraj uteži naših nevronska mreža.
To nam omogoča relativno hitro ustvarjanje novih slik in videoposnetkov iz le peščice fotografij ali video posnetkov.
Kako trenirati nevronsko polje?
Zdaj, ko poznamo osnove delovanja nevronskega polja, si poglejmo, kako lahko raziskovalci trenirajo nevronsko sevalno polje oz. NeRF.
Najprej bomo morali vzorčiti naključne koordinate scene in jih vnesti v nevronsko mrežo. To omrežje bo nato lahko proizvajalo poljske količine.
Proizvedene količine polja se štejejo za vzorce iz želene domene rekonstrukcije scene, ki jo želimo ustvariti.
Nato bomo morali rekonstrukcijo preslikati na dejanske 2D slike. Algoritem bo nato izračunal napako rekonstrukcije. Ta napaka bo vodila nevronsko mrežo, da optimizira svojo sposobnost rekonstrukcije scene.
Aplikacije nevronskega upodabljanja
Novel View Synthesis
Sinteza novih pogledov se nanaša na nalogo ustvarjanja perspektiv kamere iz novih zornih kotov z uporabo podatkov iz omejenega števila perspektiv.
Tehnike nevronskega upodabljanja poskušajo uganiti relativni položaj kamere za vsako sliko v naboru podatkov in vnesti te podatke v nevronsko mrežo.
Nevronska mreža bo nato ustvarila 3D predstavitev scene, kjer ima vsaka točka v 3D prostoru povezano barvo in gostoto.
Nova izvedba NeRF-jev v Google Street View uporablja novo sintezo pogleda, ki uporabnikom omogoča raziskovanje lokacij v resničnem svetu, kot da bi nadzorovali kamero, ki snema video. To turistom omogoča, da raziskujejo destinacije na poglobljen način, preden se odločijo za potovanje na določeno lokacijo.
Fotorealistični avatarji
Napredne tehnike nevronskega upodabljanja lahko utrejo pot tudi bolj realističnim digitalnim avatarjem. Te avatarje je nato mogoče uporabiti za različne vloge, kot so virtualni pomočniki ali storitve za stranke, ali kot način, da uporabniki vstavijo svojo podobo v video igre ali simulirano upodabljanje.
Na primer, papirja objavljeno marca 2023 predlaga uporabo tehnik nevronskega upodabljanja za ustvarjanje fotorealističnega avatarja po nekaj minutah videoposnetka.
zaključek
Nevronsko upodabljanje je vznemirljivo področje študija, ki lahko spremeni celotno industrijo računalniške grafike.
Tehnologija bi lahko znižala vstopno oviro za ustvarjanje 3D sredstev. Ekipam za vizualne učinke morda ne bo več treba čakati več dni, da upodabljajo nekaj minut fotorealistične grafike.
Združevanje tehnologije z obstoječimi aplikacijami VR in AR lahko razvijalcem omogoči ustvarjanje bolj poglobljenih izkušenj.
Kakšen je po vašem mnenju pravi potencial za nevronsko upodabljanje?
Pustite Odgovori