Saturs[Paslēpt][Rādīt]
Sveiki, vai zinājāt, ka 3D ainu var izveidot no 2D datu ievades sekundēs, izmantojot NVIDIA Instant NeRF neironu renderēšanas modeli, un šīs ainas fotogrāfijas var renderēt milisekundēs?
Ir iespējams ātri pārveidot nekustīgu fotogrāfiju kolekciju digitālā 3D vidē, izmantojot paņēmienu, kas pazīstams kā apgrieztā renderēšana, kas ļauj AI atdarināt gaismas darbību reālajā pasaulē.
Tas ir viens no pirmajiem šāda veida modeļiem, kas var apvienot īpaši ātru neironu tīklu apmācību un ātru renderēšanu, pateicoties NVIDIA pētnieku grupas izstrādātajai tehnikai, kas operāciju pabeidz neticami ātri – gandrīz acumirklī.
Šajā rakstā tiks padziļināti izpētīts NVIDIA NeRF, tostarp tā ātrums, lietošanas gadījumi un citi faktori.
Tātad, kas ir NeRF?
NeRF apzīmē neironu starojuma laukus, kas attiecas uz paņēmienu, lai izveidotu unikālus sarežģītu ainu skatus, pilnveidojot pamatā esošo nepārtraukto tilpuma ainas funkciju, izmantojot nelielu skaitu ievades skatu.
Ja kā ievade tiek dota 2D fotoattēlu kolekcija, tiek izmantoti NVIDIA NeRF neironu tīkli lai attēlotu un ģenerētu 3D ainas.
Ir nepieciešams neliels skaits fotoattēlu no dažādiem leņķiem visā apgabalā neironu tīklu, kopā ar kameras atrašanās vietu katrā kadrā.
Jo ātrāk šie attēli tiek uzņemti, jo labāk, it īpaši ainās ar kustīgiem aktieriem vai objektiem.
AI ģenerētais 3D sižets tiks notraipīts, ja 2D attēla uzņemšanas laikā būs pārāk daudz kustības.
Prognozējot gaismas krāsu, kas izplūst visos virzienos no jebkuras vietas 3D vidē, NeRF efektīvi aizpilda šo datu atstātās nepilnības, lai izveidotu visu attēlu.
Tā kā NeRF var ģenerēt 3D ainu pāris milisekundēs pēc atbilstošas ievades saņemšanas, tā ir līdz šim ātrākā NeRF pieeja.
NeRF darbojas tik ātri, ka tas ir praktiski acumirklīgs, tāpēc arī tā nosaukums. Ja standarta 3D attēlojumi, piemēram, daudzstūru tīkli, ir vektora attēli, NeRF ir bitkartes attēli: tie blīvi tver veidu, kā gaisma izplūst no objekta vai ainas iekšienē.
Tūlītēja NeRF ir būtiska 3D, jo digitālās kameras un JPEG saspiešana ir bijusi 2D fotogrāfijā, ievērojami uzlabojot 3D uzņemšanas un kopīgošanas ātrumu, ērtības un sasniedzamību.
Instant NeRF var izmantot, lai izveidotu iemiesojumus vai pat veselas ainavas virtuālajām pasaulēm.
Lai godinātu Polaroid fotoattēlu agrīnās dienas, NVIDIA Research komanda atjaunoja slaveno Endija Vorhola kadru, kas uzņem tūlītēju fotoattēlu, un pārveidoja to 3D ainā, izmantojot Instant NeRF.
Vai tiešām 1,000 reižu ātrāk?
3D ainas izveide pirms NeRF var ilgt stundas, atkarībā no tās sarežģītības un kvalitātes.
AI ievērojami paātrināja procesu, taču joprojām var paiet stundas, lai pareizi apmācītu. Izmantojot metodi, ko sauc par vairāku izšķirtspējas jaucējkodējumu, ko ieviesa NVIDIA, Instant NeRF samazina renderēšanas laiku par 1,000.
Modeļa izveidošanai tika izmantota Tiny CUDA neironu tīklu pakotne un NVIDIA CUDA Toolkit. Saskaņā ar NVIDIA teikto, tā kā tas ir viegls neironu tīkls, to var apmācīt un izmantot vienā NVIDIA GPU ar NVIDIA Tensor Core kartēm, kas darbojas ar ātrāko ātrumu.
Izmantot gadījumu
Pašpiedziņas automašīnas ir viens no nozīmīgākajiem šīs tehnoloģijas lietojumiem. Šie transportlīdzekļi lielākoties darbojas, iztēlojot savu apkārtni braukšanas laikā.
Tomēr mūsdienu tehnoloģiju problēma ir tā, ka tā ir neveikla un aizņem pārāk ilgu laiku.
Tomēr, izmantojot Instant NeRF, viss, kas nepieciešams, lai pašbraucoša automašīna aptuvenu/saprastu reālās pasaules objektu izmēru un formu, ir uzņemt nekustīgas fotogrāfijas, pārvērst tās 3D formātā un pēc tam izmantot šo informāciju.
Joprojām varētu būt cits lietojums metaversā vai videospēle ražošanas nozares.
Tā kā Instant NeRF ļauj ātri izveidot iemiesojumus vai pat veselas virtuālās pasaules, tā ir taisnība.
Gandrīz maz 3D raksturs būtu nepieciešama modelēšana, jo viss, kas jums jādara, ir palaist neironu tīklu, un tas jums ģenerēs rakstzīmi.
Turklāt NVIDIA joprojām pēta šīs tehnoloģijas izmantošanu papildu ar mašīnmācīšanos saistītām lietojumprogrammām.
Piemēram, to var izmantot, lai tulkotu valodas precīzāk nekā iepriekš un uzlabotu vispārējo mērķi dziļa mācīšanās algoritmi, ko tagad izmanto plašākam uzdevumu klāstam.
Secinājumi
Daudzas grafikas problēmas ir atkarīgas no uzdevumam specifiskām datu struktūrām, lai izmantotu problēmas vienmērīgumu vai retumu.
Praktiskā, uz mācībām balstītā alternatīva, ko piedāvā NVIDIA vairāku izšķirtspēju jaucējkodējums, neatkarīgi no darba slodzes automātiski koncentrējas uz atbilstošām detaļām.
Lai uzzinātu vairāk par to, kā lietas darbojas iekšpusē, iepazīstieties ar amatpersonu GitHub krātuve.
Atstāj atbildi