Cuprins[Ascunde][Spectacol]
Știați că o scenă 3D poate fi creată din intrări de date 2D în câteva secunde cu modelul de randare neuronală Instant NeRF de la NVIDIA, iar fotografiile acelei scene pot fi redate în milisecunde?
Este posibil să convertiți rapid o colecție de fotografii într-un mediu digital 3D folosind tehnica cunoscută sub numele de randare inversă, care permite AI să imite modul în care funcționează lumina în lumea reală.
Este unul dintre primele modele de acest gen care poate combina antrenamentul ultrarapid al rețelei neuronale și redarea rapidă, datorită unei tehnici pe care echipa de cercetare a NVIDIA a conceput-o, care finalizează operația incredibil de rapid – aproape instantaneu.
Acest articol va examina în profunzime NeRF-ul NVIDIA, inclusiv viteza, cazurile de utilizare și alți factori.
Deci, ce este NeRF?
NeRF înseamnă câmpuri de radiație neurale, care se referă la o tehnică de creare a vederilor unice ale scenelor complicate prin rafinarea unei funcții de scenă volumetrice continue subiacente folosind un număr mic de vizualizări de intrare.
Când i se oferă o colecție de fotografii 2D ca intrare, NeRF-urile NVIDIA sunt folosite rețele neuronale pentru a reprezenta și genera scene 3D.
Pentru aceasta este nevoie de un număr mic de fotografii din diferite unghiuri în jurul zonei rețele neuronale, împreună cu locația camerei în fiecare cadru.
Cu cât aceste poze sunt făcute mai repede, cu atât mai bine, mai ales în scenele cu actori sau obiecte în mișcare.
Scena 3D generată de AI va fi pătată dacă există prea multă mișcare în timpul procedurii de captare a imaginii 2D.
Prevăzând culoarea luminii care emană în orice direcție din orice locație din mediul 3D, NeRF completează efectiv golurile lăsate de aceste date pentru a construi întreaga imagine.
Deoarece NeRF poate genera o scenă 3D în câteva milisecunde după primirea intrărilor corespunzătoare, este cea mai rapidă abordare NeRF de până acum.
NeRF funcționează atât de repede încât este practic instantaneu, de unde și numele. Dacă reprezentările 3D standard, cum ar fi rețele poligonale, sunt imagini vectoriale, NeRF-urile sunt imagini bitmap: ele captează dens modul în care lumina emană dintr-un obiect sau din interiorul unei scene.
NeRF instantaneu este esențială pentru 3D, deoarece camerele digitale și compresia JPEG au fost pentru fotografia 2D, îmbunătățind dramatic viteza, confortul și acoperirea captării și partajării 3D.
Instant NeRF poate fi folosit pentru a produce avatare sau chiar peisaje întregi pentru lumi virtuale.
Pentru a aduce un omagiu primelor zile ale fotografiilor Polaroid, echipa de cercetare NVIDIA a recreat o fotografie faimoasă a lui Andy Warhol făcând o fotografie instantanee și a convertit-o într-o scenă 3D folosind Instant NeRF.
Este într-adevăr de 1,000 de ori mai rapid?
Crearea unei scene 3D poate dura ore înainte de NeRF, în funcție de complexitatea și calitatea acesteia.
Inteligența artificială a accelerat foarte mult procesul, dar ar putea dura încă ore pentru a se antrena corect. Folosind o metodă numită codificare hash multi-rezoluție, lansată de NVIDIA, Instant NeRF reduce timpii de randare cu un factor de 1,000.
Pachetul Tiny CUDA Neural Networks și NVIDIA CUDA Toolkit au fost folosite pentru a crea modelul. Potrivit NVIDIA, deoarece este o rețea neuronală ușoară, poate fi antrenată și utilizată pe un singur GPU NVIDIA, plăcile NVIDIA Tensor Core funcționând la cele mai rapide viteze.
Utilizare caz
Automobilele cu conducere autonomă sunt una dintre cele mai semnificative aplicații ale acestei tehnologii. Aceste vehicule funcționează în mare măsură imaginându-și împrejurimile în timp ce merg.
Cu toate acestea, problema cu tehnologia de astăzi este că este stângace și durează puțin prea mult.
Cu toate acestea, folosind Instant NeRF, tot ceea ce este necesar pentru o mașină cu conducere autonomă pentru a aproxima/înțelege dimensiunea și forma obiectelor din lumea reală este să capteze fotografii statice, să le transforme în 3D și apoi să folosească acele informații.
Ar mai putea exista o altă utilizare în metavers sau joc video industriile de producție.
Deoarece Instant NeRF vă permite să construiți rapid avatare sau chiar lumi virtuale întregi, acest lucru este adevărat.
Aproape puțin Personaj 3D modelarea ar fi necesară deoarece tot ce trebuie să faceți este să rulați rețeaua neuronală și ar genera un caracter pentru dvs.
În plus, NVIDIA încă explorează aplicarea acestei tehnologii pentru aplicații suplimentare legate de învățarea automată.
De exemplu, poate fi folosit pentru a traduce limbi mai precis decât anterior și pentru a îmbunătăți scopul general învățare profundă algoritmi utilizați acum pentru o gamă mai largă de sarcini.
Concluzie
Multe probleme de grafică se bazează pe structurile de date specifice sarcinii pentru a utiliza netezimea sau dispersitatea problemei.
Alternativa practică bazată pe învățare oferită de codarea hash cu rezoluție multiplă de la NVIDIA se concentrează automat pe detaliile pertinente, indiferent de volumul de lucru.
Pentru a afla mai multe despre cum funcționează lucrurile în interior, consultați oficialul GitHub repertoriu.
Lasă un comentariu