Redarea neuronală este o tehnică emergentă în învățarea profundă, care își propune să sporească conducta clasică de grafică pe computer cu rețele neuronale.
Un algoritm de redare neuronală va necesita un set de imagini reprezentând unghiuri diferite ale aceleiași scene. Aceste imagini vor fi apoi introduse într-o rețea neuronală pentru a crea un model care poate scoate noi unghiuri ale aceleiași scene.
Strălucirea din spatele redării neuronale constă în modul în care poate recrea cu acuratețe scene fotorealiste detaliate, fără a fi nevoie să se bazeze pe metode clasice care pot fi mai solicitante din punct de vedere computațional.
Înainte de a explora modul în care funcționează redarea neuronală, să trecem peste elementele de bază ale redării clasice.
Ce este redarea clasică?
Să înțelegem mai întâi metodele tipice utilizate în redarea clasică.
Redarea clasică se referă la setul de tehnici utilizate pentru a crea o imagine 2D a unei scene tridimensionale. Cunoscută și sub denumirea de sinteză a imaginii, redarea clasică utilizează diverși algoritmi pentru a simula modul în care lumina interacționează cu diferite tipuri de obiecte.
De exemplu, redarea unei cărămizi solide va necesita un anumit set de algoritmi pentru a determina poziția umbrei sau cât de bine iluminată va fi ambele părți ale peretelui. În mod similar, obiectele care reflectă sau refractează lumina, cum ar fi o oglindă, un obiect strălucitor sau un corp de apă, vor necesita, de asemenea, propriile tehnici.
În redarea clasică, fiecare activ este reprezentat cu o plasă poligonală. Un program de umbrire va folosi apoi poligonul ca intrare pentru a determina cum va arăta obiectul având în vedere iluminarea și unghiul specificate.
Redarea realistă va necesita mult mai multă putere de calcul, deoarece activele noastre ajung să aibă milioane de poligoane de utilizat ca intrare. Producția generată de computer, care este obișnuită în filmele de succes de la Hollywood, durează de obicei săptămâni sau chiar luni pentru a se reda și poate costa milioane de dolari.
Abordarea urmăririi razelor este deosebit de costisitoare, deoarece fiecare pixel din imaginea finală necesită un calcul al drumului pe care lumina îl parcurge de la sursa de lumină la obiect și la cameră.
Progresele în hardware au făcut redarea grafică mult mai accesibilă pentru utilizatori. De exemplu, multe dintre cele mai recente jocuri video permiteți efecte cu trasare de raze, cum ar fi reflexii și umbre foto-realiste, atâta timp cât hardware-ul lor este la îndemână.
Cele mai recente GPU-uri (unități de procesare grafică) sunt construite special pentru a ajuta procesorul să gestioneze calculele extrem de complexe necesare pentru a reda grafică foto-realistă.
Creșterea redării neuronale
Redarea neuronală încearcă să abordeze problema de redare într-un mod diferit. În loc să folosim algoritmi pentru a simula modul în care lumina interacționează cu obiectele, ce se întâmplă dacă am crea un model care învață cum ar trebui să arate o scenă dintr-un anumit unghi?
Vă puteți gândi la ea ca la o comandă rapidă pentru a crea scene fotorealiste. Cu redarea neuronală, nu trebuie să calculăm modul în care lumina interacționează cu un obiect, avem nevoie doar de suficiente date de antrenament.
Această abordare permite cercetătorilor să creeze randări de înaltă calitate ale scenelor complexe fără a fi nevoiți să efectueze
Ce sunt câmpurile neuronale?
După cum am menționat mai devreme, majoritatea randărilor 3D folosesc ochiuri poligonale pentru a stoca date despre forma și textura fiecărui obiect.
Cu toate acestea, câmpurile neuronale câștigă popularitate ca metodă alternativă de reprezentare a obiectelor tridimensionale. Spre deosebire de ochiurile poligonale, câmpurile neuronale sunt diferențiabile și continue.
La ce ne referim când spunem că câmpurile neuronale sunt diferențiabile?
O ieșire 2D dintr-un câmp neuronal poate fi acum antrenată pentru a deveni fotorealistă prin simpla ajustare a greutăților rețelei neuronale.
Folosind câmpuri neuronale, nu mai trebuie să simulăm fizica luminii pentru a reda o scenă. Cunoașterea modului în care va fi aprins randamentul final este acum stocată implicit în greutățile noastre rețele neuronale.
Acest lucru ne permite să creăm imagini și videoclipuri noi relativ rapid din doar câteva fotografii sau înregistrări video.
Cum să antrenezi un câmp neuronal?
Acum că știm elementele de bază ale modului în care funcționează un câmp neuronal, să aruncăm o privire la modul în care cercetătorii sunt capabili să antreneze un câmp de radiație neural sau NeRF.
În primul rând, va trebui să eșantionăm coordonatele aleatorii ale unei scene și să le introducem într-o rețea neuronală. Această rețea va putea apoi să producă cantități de câmp.
Cantitățile de câmp produse sunt considerate mostre din domeniul de reconstrucție dorit al scenei pe care dorim să o creăm.
Va trebui apoi să mapam reconstrucția la imagini 2D reale. Un algoritm va calcula apoi eroarea de reconstrucție. Această eroare va ghida rețeaua neuronală pentru a-și optimiza capacitatea de a reconstrui scena.
Aplicații ale redării neuronale
Novel View Sinteză
Sinteza de vizualizare nouă se referă la sarcina de a crea perspective ale camerei din unghiuri noi folosind date dintr-un număr limitat de perspective.
Tehnicile de redare neuronală încearcă să ghicească poziția relativă a camerei pentru fiecare imagine din setul de date și să introducă acele date într-o rețea neuronală.
Rețeaua neuronală va crea apoi o reprezentare 3D a scenei în care fiecare punct din spațiul 3D are o culoare și o densitate asociate.
O nouă implementare a NeRF-urilor în Google Street View folosește o nouă sinteză a vizualizării pentru a permite utilizatorilor să exploreze locații din lumea reală ca și cum ar controla o cameră care face un videoclip. Acest lucru le permite turiștilor să exploreze destinațiile într-un mod captivant înainte de a decide să călătorească la un anumit site.
Avatare foto-realiste
Tehnicile avansate de redare neuronală pot deschide calea pentru avatare digitale mai realiste. Aceste avatare pot fi apoi utilizate pentru diferite roluri, cum ar fi asistenți virtuali sau serviciul pentru clienți, sau ca o modalitate prin care utilizatorii pot introduce asemănarea lor într-un joc video sau randare simulată.
De exemplu, o hârtie publicat în martie 2023 sugerează utilizarea tehnicilor de redare neuronală pentru a crea un avatar foto-realist după câteva minute de filmare.
Concluzie
Redarea neuronală este un domeniu de studiu interesant, care are potențialul de a schimba întreaga industrie a graficii pe computer.
Tehnologia ar putea reduce bariera de intrare pentru crearea de active 3D. Este posibil ca echipele de efecte vizuale să nu mai fie nevoite să aștepte zile pentru a reda câteva minute de grafică foto-realistă.
Combinarea tehnologiei cu aplicațiile existente VR și AR poate permite dezvoltatorilor să creeze experiențe mai imersive.
Care credeți că este adevăratul potențial pentru redarea neuronală?
Lasă un comentariu