INHOUDSOPGAWE[Versteek][Wys]
Haai, het jy geweet dat 'n 3D-toneel binne sekondes uit 2D-data-insette geskep kan word met NVIDIA se Instant NeRF-neurale weergawe-model, en foto's van daardie toneel kan in millisekondes weergegee word?
Dit is moontlik om 'n versameling stilfoto's vinnig in 'n digitale 3D-omgewing te omskep deur die tegniek bekend as omgekeerde weergawe te gebruik, wat KI in staat stel om na te boots hoe lig in die werklike wêreld werk.
Dit is een van die eerste modelle van sy soort wat ultravinnige neurale netwerkopleiding en vinnige weergawe kan kombineer, danksy 'n tegniek wat NVIDIA se navorsingspan uitgedink het wat die operasie ongelooflik vinnig voltooi - byna oombliklik.
Hierdie artikel sal NVIDIA se NeRF in-diepte ondersoek, insluitend die spoed, gebruiksgevalle en ander faktore.
So, wat is NeRF?
NeRF staan vir neurale uitstralingsvelde, wat verwys na 'n tegniek vir die skep van unieke aansigte van ingewikkelde tonele deur 'n onderliggende deurlopende volumetriese toneelfunksie te verfyn deur 'n klein aantal insetaansigte te gebruik.
Wanneer 'n versameling 2D-foto's as invoer gegee word, gebruik NVIDIA se NeRF's neurale netwerke om 3D-tonele voor te stel en te genereer.
'n Klein aantal foto's vanuit verskillende hoeke rondom die area word benodig vir die neurale netwerk, tesame met die ligging van die kamera in elke raam.
Hoe gouer hierdie foto's geneem word, hoe beter, veral in tonele met bewegende akteurs of voorwerpe.
Die KI-gegenereerde 3D-toneel sal bevlek word as daar te veel beweging is tydens die 2D-foto-vasleggingsprosedure.
Deur die kleur van lig te voorspel wat in elke rigting uitgaan vanaf enige plek in die 3D-omgewing, vul die NeRF effektief die gapings wat deur hierdie data gelaat word in om die hele beeld te konstrueer.
Aangesien NeRF 'n 3D-toneel binne 'n paar millisekondes kan genereer nadat hy die regte insette ontvang het, is dit die vinnigste NeRF-benadering tot nog toe.
NeRF werk so vinnig dat dit feitlik oombliklik is, vandaar sy naam. As standaard 3D-voorstellings soos veelhoekige maaswerk vektorprente is, is NeRF's bitmapbeelde: hulle vang die manier waarop lig uit 'n voorwerp of binne 'n toneel uitgaan, dig vas.
Onmiddellike NeRF is noodsaaklik vir 3D, aangesien digitale kameras en JPEG-kompressie vir 2D-fotografie was, wat die spoed, gerief en reikwydte van 3D-opname en -deel dramaties verbeter.
Onmiddellike NeRF kan gebruik word om avatars of selfs hele landskappe vir virtuele wêrelde te produseer.
Om hulde te bring aan die vroeë dae van Polaroid-foto's, het die NVIDIA-navorsingspan 'n bekende skoot van Andy Warhol wat 'n kitsfoto geneem het, herskep en dit in 'n 3D-toneel omskep met Instant NeRF.
Is dit regtig 1,000 XNUMX keer vinniger?
'n 3D-toneel kan ure neem om voor NeRF te skep, afhangende van die ingewikkeldheid en kwaliteit daarvan.
KI het die proses baie bespoedig, maar dit kan steeds ure neem om behoorlik op te lei. Met behulp van 'n metode genaamd multi-resolusie hash-enkodering, wat deur NVIDIA begin is, verminder Instant NeRF leweringstye met 'n faktor van 1,000 XNUMX.
Die Tiny CUDA Neural Networks-pakket en die NVIDIA CUDA Toolkit is gebruik om die model te skep. Volgens NVIDIA, omdat dit 'n liggewig neurale netwerk is, kan dit opgelei en gebruik word op 'n enkele NVIDIA GPU, met NVIDIA Tensor Core-kaarte wat teen die vinnigste spoed werk.
Gebruiksgeval
Selfbesturende motors is een van die belangrikste toepassings van hierdie tegnologie. Hierdie voertuie werk grootliks deur hul omgewing te verbeel terwyl hulle beweeg.
Die probleem met vandag se tegnologie is egter dat dit lomp is en 'n bietjie te lank neem.
Deur Instant NeRF te gebruik, is al wat nodig is vir 'n selfbesturende motor om die grootte en vorm van werklike voorwerpe te benader/verstaan, om stilfoto's te neem, dit in 3D te verander en dan daardie inligting te gebruik.
Daar kan nog 'n ander gebruik in die metaverse of video game produksie industrieë.
Omdat Instant NeRF jou in staat stel om avatars of selfs hele virtuele wêrelde vinnig te bou, is dit waar.
Amper min 3D karakter modellering sal nodig wees, want al wat jy hoef te doen is om die neurale netwerk te bestuur, en dit sal 'n karakter vir jou genereer.
Daarbenewens ondersoek NVIDIA steeds die toepassing van hierdie tegnologie vir bykomende masjienleerverwante toepassings.
Dit kan byvoorbeeld gebruik word om tale meer akkuraat as voorheen te vertaal en die algemene doel te verbeter diep leer algoritmes wat nou vir 'n groter verskeidenheid take gebruik word.
Gevolgtrekking
Baie grafiese kwessies maak staat op taakspesifieke datastrukture om gebruik te maak van die probleem se gladheid of yl.
Die praktiese leergebaseerde alternatief wat deur NVIDIA se multi-resolusie hash-kodering aangebied word, konsentreer outomaties op pertinente detail, ongeag die werklading.
Om meer te wete te kom oor hoe dinge binne werk, kyk na die amptenaar GitHub bewaarplek.
Lewer Kommentaar