Sadržaj[Sakrij][Prikaži]
Hej, da li ste znali da se 3D scena može kreirati od 2D unosa podataka za nekoliko sekundi pomoću NVIDIA Instant NeRF neuronskog modela renderovanja, a fotografije te scene mogu se renderovati za milisekunde?
Moguće je brzo konvertovati kolekciju fotografija u digitalno 3D okruženje koristeći tehniku poznatu kao inverzno renderovanje, koja omogućava veštačkoj inteligenciji da oponaša kako svetlost radi u stvarnom svetu.
To je jedan od prvih modela te vrste koji može kombinovati ultrabrzu obuku neuronske mreže i brzo renderovanje, zahvaljujući tehnici koju je osmislio NVIDIA-in istraživački tim i koja završava operaciju neverovatno brzo – skoro trenutno.
Ovaj članak će detaljno ispitati NVIDIA-in NeRF, uključujući njegovu brzinu, slučajeve upotrebe i druge faktore.
Pa, šta je NeRF?
NeRF je skraćenica za neuronska polja zračenja, što se odnosi na tehniku za kreiranje jedinstvenih pogleda na komplikovane scene rafiniranjem osnovne kontinuirane volumetrijske funkcije scene koristeći mali broj ulaznih pogleda.
Kada se dobije kolekcija 2D fotografija kao ulaz, NVIDIA-ini NeRF-ovi koriste neuronske mreže za predstavljanje i generiranje 3D scena.
Za to je potreban mali broj fotografija iz različitih uglova u okolini neuronska mreža, zajedno sa lokacijom kamere u svakom kadru.
Što se prije naprave ove slike, to bolje, posebno u scenama s pokretnim glumcima ili objektima.
3D scena generirana umjetnom inteligencijom bit će zamrljana ako bude previše pokreta tokom postupka snimanja 2D slike.
Predviđanjem boje svjetlosti koja emituje u svakom smjeru sa bilo koje lokacije u 3D okruženju, NeRF efektivno popunjava praznine koje ostavljaju ovi podaci kako bi konstruirao cijelu sliku.
Budući da NeRF može generirati 3D scenu za nekoliko milisekundi nakon primanja odgovarajućih ulaza, to je najbrži NeRF pristup do sada.
NeRF radi tako brzo da je praktički trenutan, otuda i njegovo ime. Ako su standardne 3D reprezentacije poput poligonalnih mreža vektorske slike, NeRF su bitmap slike: oni gusto hvataju način na koji svjetlost izlazi iz objekta ili unutar scene.
Instant NeRF je od suštinskog značaja za 3D kao što su digitalni fotoaparati i JPEG kompresija bili za 2D fotografiju, dramatično povećavajući brzinu, praktičnost i doseg 3D snimanja i deljenja.
Instant NeRF se može koristiti za izradu avatara ili čak cijelih scenografija za virtuelne svjetove.
Kako bi odao počast ranim danima Polaroid fotografija, NVIDIA istraživački tim je rekreirao poznatu snimku Andyja Warhola koji snima trenutnu fotografiju i pretvara je u 3D scenu koristeći Instant NeRF.
Da li je zaista 1,000 puta brže?
Kreiranje 3D scene moglo bi potrajati satima prije NeRF-a, ovisno o njenoj zamršenosti i kvaliteti.
AI je uvelike ubrzao proces, ali bi i dalje mogli potrajati sati da se pravilno obuče. Koristeći metodu nazvanu heš kodiranje u više rezolucija, koju je pionir NVIDIA, Instant NeRF smanjuje vrijeme renderiranja za faktor od 1,000.
Za kreiranje modela korišteni su paket Tiny CUDA Neural Networks i NVIDIA CUDA Toolkit. Prema NVIDIA-i, budući da je to lagana neuronska mreža, može se trenirati i koristiti na jednom NVIDIA GPU-u, s NVIDIA Tensor Core karticama koje rade pri najbržim brzinama.
Use Case
Samovozeći automobili jedna su od najznačajnijih primjena ove tehnologije. Ova vozila uglavnom rade tako što zamišljaju svoje okruženje dok idu.
Međutim, problem današnje tehnologije je u tome što je nespretna i predugo traje.
Međutim, korištenjem Instant NeRF-a, sve što je potrebno da samovozeći automobil približne/shvate veličinu i oblik objekata iz stvarnog svijeta je da snimi fotografije, pretvori ih u 3D, a zatim koristi te informacije.
Još uvijek može postojati druga upotreba u metaverzumu ili video igrica proizvodne industrije.
Budući da vam Instant NeRF omogućava da brzo napravite avatare ili čak čitave virtuelne svjetove, to je istina.
Skoro malo 3D lik modeliranje bi bilo potrebno jer sve što treba da uradite je da pokrenete neuronsku mrežu i ona će generisati karakter za vas.
Osim toga, NVIDIA još uvijek istražuje primjenu ove tehnologije za dodatne aplikacije vezane za strojno učenje.
Na primjer, može se koristiti za prevođenje jezika preciznije nego ranije i za poboljšanje opće namjene duboko učenje algoritmi koji se sada koriste za širi spektar zadataka.
zaključak
Mnogi grafički problemi se oslanjaju na strukture podataka specifične za zadatak kako bi iskoristili glatkoću ili oskudnost problema.
Alternativa zasnovana na praktičnom učenju koju nudi NVIDIA-ino heš kodiranje u više rezolucija automatski se koncentriše na relevantne detalje, bez obzira na opterećenje.
Da biste saznali više o tome kako stvari funkcionišu unutra, pogledajte zvaničnik GitHub spremište.
Ostavite odgovor