Sisukord[Peida][Näita]
Hei, kas teadsite, et 3D-stseeni saab luua 2D-sisenditest sekunditega NVIDIA Instant NeRF-närvi renderdusmudeliga ja selle stseeni fotosid saab renderdada millisekunditega?
Fotode kogu on võimalik kiiresti teisendada digitaalseks 3D-keskkonnaks, kasutades pöördrenderdamise tehnikat, mis võimaldab AI-l jäljendada valguse toimimist tegelikus maailmas.
See on üks esimesi omataolisi mudeleid, mis suudab kombineerida ülikiire närvivõrgu koolituse ja kiire renderdamise tänu NVIDIA uurimisrühma välja töötatud tehnikale, mis viib toimingu lõpule uskumatult kiiresti – peaaegu silmapilkselt.
See artikkel uurib põhjalikult NVIDIA NeRF-i, sealhulgas selle kiirust, kasutusjuhtumeid ja muid tegureid.
Mis siis on NeRF?
NeRF tähistab neuraalset kiirgusvälju, mis viitab tehnikale keeruliste stseenide ainulaadsete vaadete loomiseks, täiustades pidevat mahulist stseenifunktsiooni, kasutades väikest arvu sisendvaateid.
Kui sisendiks antakse 2D-fotode kogu, kasutavad NVIDIA NeRF-id närvivõrgud 3D-stseenide kujutamiseks ja genereerimiseks.
Selleks on vaja väikest hulka fotosid piirkonna erinevatest nurkadest Närvivõrgus, koos kaamera asukohaga igas kaadris.
Mida varem need pildid tehakse, seda parem, eriti liikuvate näitlejate või objektidega stseenides.
Tehisintellektiga loodud 3D-stseen on määrdunud, kui 2D-pildi jäädvustamise ajal on liiga palju liikumist.
Prognoosides 3D-keskkonna mis tahes kohast igas suunas kiirgava valguse värvi, täidab NeRF tõhusalt nende andmete jäetud tühimikud kogu pildi koostamiseks.
Kuna NeRF suudab pärast õigete sisendite saamist luua 3D-stseeni mõne millisekundi jooksul, on see seni kiireim NeRF-i lähenemisviis.
NeRF töötab nii kiiresti, et see on peaaegu hetkeline, sellest ka selle nimi. Kui standardsed 3D-estused, nagu hulknurksed võrgud, on vektorpildid, on NeRF-id bitmap-kujutised: need jäädvustavad tihedalt viisi, kuidas valgus objektilt või stseeni seest väljub.
Instant NeRF on 3D jaoks hädavajalik, kuna digitaalkaamerad ja JPEG-tihendamine on olnud 2D-fotograafia jaoks, suurendades märkimisväärselt 3D-pildistamise ja jagamise kiirust, mugavust ja ulatust.
Instant NeRF-i saab kasutada avatarite või isegi tervete maastike loomiseks virtuaalmaailmadesse.
Et avaldada austust Polaroid-fotode algusaegadele, tegi NVIDIA uurimisrühm uuesti kuulsa kaadri Andy Warholist, kes teeb kiirfoto ja teisendas selle 3D-stseeniks, kasutades Instant NeRF-i.
Kas see on tõesti 1,000 korda kiirem?
3D-stseeni loomiseks võib kuluda tunde enne NeRF-i, olenevalt selle keerukusest ja kvaliteedist.
AI kiirendas protsessi oluliselt, kuid korralikuks treenimiseks võib siiski kuluda tunde. Kasutades meetodit, mida nimetatakse mitme eraldusvõimega räsikodeeringuks, mille pioneeriks on NVIDIA, vähendab Instant NeRF renderdusaegu 1,000 korda.
Mudeli loomisel kasutati Tiny CUDA närvivõrkude paketti ja NVIDIA CUDA tööriistakomplekti. Kuna tegemist on kerge närvivõrguga, saab NVIDIA sõnul seda treenida ja kasutada ühes NVIDIA GPU-s, kusjuures NVIDIA Tensor Core kaardid töötavad kõige kiirematel kiirustel.
Kasuta Case'it
Isejuhtivad autod on selle tehnoloogia üks olulisemaid rakendusi. Need sõidukid töötavad suures osas nii, et kujutlevad oma ümbrust liikumise ajal.
Tänapäeva tehnoloogia probleem on aga see, et see on kohmakas ja võtab natuke liiga kaua aega.
Instant NeRF-i kasutamisel on aga kõik, mida isejuhtiv auto reaalmaailma objektide suuruse ja kuju ligikaudseks hindamiseks/mõistmiseks vajab, on fotode jäädvustamine, 3D-vormingus muutmine ja seejärel selle teabe kasutamine.
Metasversis võiks ikka olla teine kasutus või videomäng tootmistööstused.
Kuna Instant NeRF võimaldab teil kiiresti luua avatare või isegi terveid virtuaalmaailmu, on see tõsi.
Peaaegu vähe 3D-märk modelleerimine oleks vajalik, sest kõik, mida vajate, on käivitada närvivõrk ja see genereerib teie jaoks märgi.
Lisaks uurib NVIDIA endiselt selle tehnoloogia rakendamist täiendavate masinõppega seotud rakenduste jaoks.
Näiteks võib seda kasutada keelte varasemast täpsemaks tõlkimiseks ja üldotstarbe parandamiseks sügav õpe algoritme, mida praegu kasutatakse laiema hulga ülesannete jaoks.
Järeldus
Paljud graafikaprobleemid sõltuvad ülesandespetsiifilistest andmestruktuuridest, et kasutada ära probleemi sujuvust või hõredust.
Praktiline õppimispõhine alternatiiv, mida pakub NVIDIA mitme eraldusvõimega räsikodeering, keskendub olenemata töökoormusest automaatselt asjakohastele detailidele.
Lisateavet selle kohta, kuidas asjad sees toimivad, vaadake ametnikust GitHub hoidla.
Jäta vastus