Kazalo[Skrij][Pokaži]
Hej, ali ste vedeli, da je mogoče 3D-sceno ustvariti iz 2D-vnesenih podatkov v nekaj sekundah z NVIDIA-inim modelom nevronskega upodabljanja Instant NeRF, fotografije te scene pa je mogoče upodobiti v milisekundah?
Zbirko fotografij je mogoče hitro pretvoriti v digitalno 3D okolje z uporabo tehnike, znane kot inverzno upodabljanje, ki omogoča AI, da posnema delovanje svetlobe v dejanskem svetu.
Je eden prvih modelov te vrste, ki lahko združuje ultra hitro usposabljanje nevronske mreže in hitro upodabljanje, zahvaljujoč tehniki, ki jo je razvila raziskovalna skupina NVIDIA in ki operacijo zaključi neverjetno hitro – skoraj v trenutku.
Ta članek bo podrobno preučil NVIDIA NeRF, vključno z njegovo hitrostjo, primeri uporabe in drugimi dejavniki.
Torej, kaj je NeRF?
NeRF je kratica za nevronska sevalna polja, ki se nanašajo na tehniko za ustvarjanje edinstvenih pogledov zapletenih prizorov z izboljšanjem temeljne kontinuirane volumetrične funkcije prizora z uporabo majhnega števila vhodnih pogledov.
Ko je kot vhod dana zbirka 2D fotografij, uporabijo NVIDIA NeRF nevronske mreže za predstavljanje in ustvarjanje 3D prizorov.
Za to je potrebno majhno število fotografij iz različnih zornih kotov okolice nevronska mreža, skupaj z lokacijo kamere v vsakem kadru.
Prej ko so te slike posnete, bolje je, zlasti v prizorih s premikajočimi se igralci ali predmeti.
3D-scena, ki jo ustvari umetna inteligenca, bo zamazana, če bo med postopkom zajemanja 2D-slike preveč gibanja.
S predvidevanjem barve svetlobe, ki izhaja v vse smeri s katere koli lokacije v 3D okolju, NeRF učinkovito zapolnjuje vrzeli, ki jih puščajo ti podatki, da sestavi celotno sliko.
Ker lahko NeRF ustvari 3D-sceno v nekaj milisekundah po prejemu ustreznih vnosov, je to najhitrejši pristop NeRF do zdaj.
NeRF deluje tako hitro, da je skoraj takojšnje, od tod tudi njegovo ime. Če so standardne 3D-predstavitve, kot so poligonalne mreže, vektorske slike, so NeRF bitne slike: na gosto zajemajo način, kako svetloba izhaja iz predmeta ali znotraj scene.
Takojšnji NeRF je bistvenega pomena za 3D, kot so bili digitalni fotoaparati in kompresija JPEG za 2D fotografijo, kar dramatično povečuje hitrost, priročnost in doseg 3D zajemanja in deljenja.
Instant NeRF je mogoče uporabiti za izdelavo avatarjev ali celo celih kulis za virtualne svetove.
Da bi se poklonili zgodnjim dnevom Polaroidnih fotografij, je raziskovalna ekipa NVIDIA poustvarila slavni posnetek Andyja Warhola, ki posname takojšnjo fotografijo, in ga pretvorila v 3D sceno s pomočjo Instant NeRF.
Je res 1,000-krat hitrejši?
Ustvarjanje 3D scene lahko traja ure pred NeRF, odvisno od njene zapletenosti in kakovosti.
Umetna inteligenca je močno pospešila proces, vendar lahko še vedno traja več ur, da se ustrezno usposobi. Z uporabo metode, imenovane zgoščeno kodiranje z več ločljivostmi, ki jo je uvedla NVIDIA, Instant NeRF skrajša čas upodabljanja za faktor 1,000.
Za izdelavo modela sta bila uporabljena paket Tiny CUDA Neural Networks in NVIDIA CUDA Toolkit. Glede na NVIDIA, ker gre za lahko nevronsko mrežo, jo je mogoče učiti in uporabljati na enem samem NVIDIA GPU, pri čemer kartice NVIDIA Tensor Core delujejo pri najhitrejših hitrostih.
Uporabi zadevo
Samovozeči avtomobili so ena najpomembnejših aplikacij te tehnologije. Ta vozila večinoma delujejo tako, da si med vožnjo predstavljajo svojo okolico.
Vendar pa je težava današnje tehnologije v tem, da je okorna in traja nekoliko predolgo.
Vendar pa je pri uporabi Instant NeRF vse, kar je potrebno za samovozeči avto, da približa/razume velikost in obliko predmetov iz resničnega sveta, zajeti fotografije, jih spremeniti v 3D in nato uporabiti te informacije.
Še vedno bi lahko obstajala druga uporaba v metaverzumu oz video igre proizvodne industrije.
Ker vam Instant NeRF omogoča hitro sestavljanje avatarjev ali celo celih virtualnih svetov, je to res.
Skoraj malo 3D lik modeliranje bi bilo potrebno, ker bi morali le zagnati nevronsko mrežo in ta bi ustvarila lik za vas.
Poleg tega NVIDIA še vedno raziskuje uporabo te tehnologije za dodatne aplikacije, povezane s strojnim učenjem.
Na primer, lahko se uporablja za natančnejše prevajanje jezikov kot prej in izboljšanje splošnega namena globoko učenje algoritmi, ki se zdaj uporabljajo za širši obseg nalog.
zaključek
Številne težave z grafiko so odvisne od podatkovnih struktur, specifičnih za nalogo, da bi izkoristili gladkost ali redkost težave.
Praktična na učenju temelječa alternativa, ki jo ponuja NVIDIA-jevo zgoščeno kodiranje z več ločljivostmi, se samodejno osredotoča na ustrezne podrobnosti, ne glede na delovno obremenitev.
Če želite izvedeti več o tem, kako stvari delujejo v notranjosti, si oglejte uradnika GitHub skladišče.
Pustite Odgovori