Il rendering neurale è una tecnica emergente nel deep learning che mira ad aumentare la pipeline classica della grafica computerizzata con le reti neurali.
Un algoritmo di rendering neurale richiederà un insieme di immagini che rappresentano diversi angoli della stessa scena. Queste immagini verranno quindi inserite in una rete neurale per creare un modello in grado di produrre nuovi angoli della stessa scena.
La genialità alla base del rendering neurale risiede nel modo in cui può ricreare accuratamente scene fotorealistiche dettagliate senza dover fare affidamento su metodi classici che potrebbero essere più impegnativi dal punto di vista computazionale.
Prima di approfondire il funzionamento del rendering neurale, esaminiamo le basi del rendering classico.
Che cos'è il rendering classico?
Per prima cosa comprendiamo i metodi tipici utilizzati nel rendering classico.
Il rendering classico si riferisce all'insieme di tecniche utilizzate per creare un'immagine 2D di una scena tridimensionale. Conosciuto anche come sintesi di immagini, il rendering classico utilizza vari algoritmi per simulare il modo in cui la luce interagisce con diversi tipi di oggetti.
Ad esempio, il rendering di un mattone pieno richiederà un particolare insieme di algoritmi per determinare la posizione dell'ombra o quanto saranno ben illuminati entrambi i lati del muro. Allo stesso modo, anche gli oggetti che riflettono o rifrangono la luce, come uno specchio, un oggetto lucido o uno specchio d'acqua, richiederanno le proprie tecniche.
Nel rendering classico, ogni risorsa è rappresentata con una mesh poligonale. Un programma shader utilizzerà quindi il poligono come input per determinare come apparirà l'oggetto data l'illuminazione e l'angolo specificati.
Il rendering realistico richiederà molta più potenza di calcolo poiché le nostre risorse finiscono per avere milioni di poligoni da utilizzare come input. L'output generato dal computer che è comune nei successi di Hollywood in genere richiede settimane o addirittura mesi per il rendering e può costare milioni di dollari.
L'approccio del ray tracing è particolarmente costoso perché ogni pixel nell'immagine finale richiede un calcolo del percorso che la luce compie dalla sorgente luminosa all'oggetto e alla telecamera.
I progressi nell'hardware hanno reso il rendering grafico molto più accessibile per gli utenti. Ad esempio, molti degli ultimi video games consentire effetti di ray tracing come riflessi e ombre fotorealistici purché il loro hardware sia all'altezza del compito.
Le ultime GPU (unità di elaborazione grafica) sono create appositamente per aiutare la CPU a gestire i calcoli estremamente complessi richiesti per eseguire il rendering di grafica fotorealistica.
L'ascesa del rendering neurale
Il rendering neurale cerca di affrontare il problema del rendering in modo diverso. Invece di utilizzare algoritmi per simulare il modo in cui la luce interagisce con gli oggetti, cosa succederebbe se creassimo un modello che apprende come dovrebbe apparire una scena da una certa angolazione?
Puoi pensarla come una scorciatoia per creare scene fotorealistiche. Con il rendering neurale, non abbiamo bisogno di calcolare come la luce interagisce con un oggetto, abbiamo solo bisogno di dati di addestramento sufficienti.
Questo approccio consente ai ricercatori di creare rendering di alta qualità di scene complesse senza doversi esibire
Cosa sono i campi neurali?
Come accennato in precedenza, la maggior parte dei rendering 3D utilizza mesh poligonali per memorizzare i dati sulla forma e sulla trama di ciascun oggetto.
Tuttavia, i campi neurali stanno guadagnando popolarità come metodo alternativo per rappresentare oggetti tridimensionali. A differenza delle mesh poligonali, i campi neurali sono differenziabili e continui.
Cosa intendiamo quando diciamo che i campi neurali sono differenziabili?
Un output 2D da un campo neurale può ora essere addestrato per diventare fotorealistico semplicemente regolando i pesi della rete neurale.
Usando i campi neurali, non abbiamo più bisogno di simulare la fisica della luce per rendere una scena. La conoscenza di come verrà illuminato il rendering finale è ora memorizzata implicitamente all'interno dei pesi del nostro rete neurale.
Questo ci consente di creare nuove immagini e video in tempi relativamente brevi partendo da una manciata di foto o riprese video.
Come addestrare un campo neurale?
Ora che conosciamo le basi di come funziona un campo neurale, diamo un'occhiata a come i ricercatori sono in grado di addestrare un campo di radianza neurale o NeRF.
Innanzitutto, dovremo campionare le coordinate casuali di una scena e inserirle in una rete neurale. Questa rete sarà quindi in grado di produrre quantità di campo.
Le quantità di campo prodotte sono considerate campioni dal dominio di ricostruzione desiderato della scena che vogliamo creare.
Dovremo quindi mappare la ricostruzione su immagini 2D reali. Un algoritmo calcolerà quindi l'errore di ricostruzione. Questo errore guiderà la rete neurale per ottimizzare la sua capacità di ricostruire la scena.
Applicazioni del rendering neurale
Sintesi della vista del romanzo
La nuova sintesi della vista si riferisce al compito di creare prospettive della telecamera da nuove angolazioni utilizzando i dati da un numero limitato di prospettive.
Le tecniche di rendering neurale tentano di indovinare la posizione relativa della fotocamera per ciascuna immagine nel set di dati e di inserire tali dati in una rete neurale.
La rete neurale creerà quindi una rappresentazione 3D della scena in cui ogni punto nello spazio 3D ha un colore e una densità associati.
Una nuova implementazione di NeRF in Google Street View utilizza una nuova sintesi della vista per consentire agli utenti di esplorare luoghi del mondo reale come se stessero controllando una videocamera che riprende un video. Ciò consente ai turisti di esplorare le destinazioni in modo coinvolgente prima di decidere di recarsi in un sito specifico.
Avatar fotorealistici
Le tecniche avanzate nel rendering neurale possono anche aprire la strada a avatar digitali più realistici. Questi avatar possono quindi essere utilizzati per vari ruoli come assistenti virtuali o servizio clienti, o come un modo per gli utenti di inserire la loro somiglianza in un videogiochi o rendering simulato.
Per esempio, un carta pubblicato nel marzo 2023 suggerisce di utilizzare tecniche di rendering neurale per creare un avatar fotorealistico dopo pochi minuti di riprese video.
Conclusione
Il rendering neurale è un entusiasmante campo di studio che ha il potenziale per cambiare l'intero settore della computer grafica.
La tecnologia potrebbe abbassare la barriera di ingresso per la creazione di risorse 3D. I team degli effetti visivi potrebbero non dover più aspettare giorni per eseguire il rendering di alcuni minuti di grafica fotorealistica.
La combinazione della tecnologia con le applicazioni VR e AR esistenti può anche consentire agli sviluppatori di creare esperienze più coinvolgenti.
Quale pensi sia il vero potenziale per il rendering neurale?
Lascia un Commento