Pregled sadržaja[Sakriti][Pokazati]
Hej, jeste li znali da se 3D scena može stvoriti iz 2D unosa podataka u sekundi s NVIDIA-inim Instant NeRF modelom neuralnog renderiranja, a fotografije te scene mogu se renderirati u milisekundi?
Moguće je brzo pretvoriti kolekciju fotografija u digitalno 3D okruženje koristeći tehniku poznatu kao inverzno renderiranje, koja omogućuje umjetnoj inteligenciji da oponaša kako svjetlo funkcionira u stvarnom svijetu.
To je jedan od prvih modela te vrste koji može kombinirati ultra-brzu obuku neuronske mreže i brzo renderiranje, zahvaljujući tehnici koju je osmislio NVIDIA-in istraživački tim koja dovršava operaciju nevjerojatno brzo – gotovo trenutno.
Ovaj će članak detaljno ispitati NVIDIA-in NeRF, uključujući njegovu brzinu, slučajeve upotrebe i druge čimbenike.
Pa, što je NeRF?
NeRF je skraćenica za neuronska polja zračenja, što se odnosi na tehniku za stvaranje jedinstvenih prikaza kompliciranih scena pročišćavanjem temeljne kontinuirane volumetrijske funkcije scene pomoću malog broja ulaznih prikaza.
Kada se dobije zbirka 2D fotografija kao ulaz, NVIDIA-ini NeRF-ovi koriste neuronske mreže predstavljati i generirati 3D scene.
Potreban je mali broj fotografija iz raznih kutova okoline neuronska mreža, zajedno s lokacijom kamere u svakom okviru.
Što se prije snime te slike, to bolje, posebno u scenama s pokretnim glumcima ili objektima.
3D scena generirana umjetnom inteligencijom bit će zamrljana ako ima previše pokreta tijekom postupka snimanja 2D slike.
Predviđanjem boje svjetlosti koja izlazi u svakom smjeru s bilo koje lokacije u 3D okruženju, NeRF učinkovito popunjava praznine koje ostavljaju ti podaci kako bi se izgradila cijela slika.
Budući da NeRF može generirati 3D scenu u nekoliko milisekundi nakon primanja odgovarajućih ulaza, to je najbrži NeRF pristup do sada.
NeRF djeluje tako brzo da je gotovo trenutačno, otuda i njegovo ime. Ako su standardni 3D prikazi poput poligonalnih mreža vektorske slike, NeRF su bitmap slike: one gusto hvataju način na koji svjetlost izlazi iz objekta ili unutar scene.
Instant NeRF je bitan za 3D kao što su digitalni fotoaparati i JPEG kompresija bili za 2D fotografiju, dramatično povećavajući brzinu, praktičnost i doseg 3D snimanja i dijeljenja.
Instant NeRF može se koristiti za izradu avatara ili čak cijelih scenografija za virtualne svjetove.
Kako bi odali počast ranim danima Polaroid fotografija, istraživački tim NVIDIA-e rekreirao je poznatu snimku Andyja Warhola kako snima trenutnu fotografiju i pretvorio je u 3D scenu koristeći Instant NeRF.
Je li stvarno 1,000 puta brži?
Za izradu 3D scene prije NeRF-a mogli bi biti potrebni sati, ovisno o njezinoj složenosti i kvaliteti.
AI je uvelike ubrzao proces, ali ipak bi mogli potrajati sati da se pravilno uvježba. Koristeći metodu nazvanu hash kodiranje s više razlučivosti, koju je uvela NVIDIA, Instant NeRF smanjuje vrijeme renderiranja za faktor 1,000.
Za izradu modela korišteni su paket Tiny CUDA Neural Networks i NVIDIA CUDA Toolkit. Prema NVIDIA-i, budući da je to lagana neuronska mreža, može se trenirati i koristiti na jednom NVIDIA GPU-u, s NVIDIA Tensor Core karticama koje rade na najvećim brzinama.
Koristite slučaj
Samovozeći automobili jedna su od najznačajnijih primjena ove tehnologije. Ova vozila uglavnom rade zamišljajući svoju okolinu dok se kreću.
Međutim, problem s današnjom tehnologijom je taj što je nespretna i traje malo predugo.
Međutim, korištenjem Instant NeRF-a, sve što je potrebno samovozećem automobilu za približno/razumijevanje veličine i oblika objekata iz stvarnog svijeta je snimanje fotografija, njihovo pretvaranje u 3D i zatim korištenje tih informacija.
I dalje bi mogla postojati druga upotreba u metaverzumu ili video igre proizvodne industrije.
Budući da vam Instant NeRF omogućuje brzo stvaranje avatara ili čak cijelih virtualnih svjetova, to je istina.
Skoro malo 3D lik modeliranje bi bilo potrebno jer sve što biste trebali učiniti je pokrenuti neuronsku mrežu, a ona bi generirala lik za vas.
Osim toga, NVIDIA još uvijek istražuje primjenu ove tehnologije za dodatne aplikacije povezane sa strojnim učenjem.
Na primjer, može se koristiti za točnije prevođenje jezika nego prije i za poboljšanje opće namjene duboko učenje algoritmi koji se sada koriste za širi raspon zadataka.
Zaključak
Mnogi problemi s grafikom oslanjaju se na podatkovne strukture specifične za zadatak kako bi se iskoristila glatkoća ili rijetkost problema.
Praktična alternativa koja se temelji na učenju koju nudi NVIDIA hash kodiranje s više razlučivosti automatski se koncentrira na bitne detalje, bez obzira na radno opterećenje.
Da biste saznali više o tome kako stvari funkcioniraju unutra, provjerite službeno GitHub projekti.
Ostavi odgovor