Sommario[Nascondere][Spettacolo]
Ehi, lo sapevi che una scena 3D può essere creata da input di dati 2D in pochi secondi con il modello di rendering neurale Instant NeRF di NVIDIA e le fotografie di quella scena possono essere renderizzate in millisecondi?
È possibile convertire rapidamente una raccolta di fotografie fisse in un ambiente 3D digitale utilizzando la tecnica nota come rendering inverso, che consente all'IA di imitare il funzionamento della luce nel mondo reale.
È uno dei primi modelli del suo genere in grado di combinare un training di rete neurale ultraveloce e un rendering rapido, grazie a una tecnica ideata dal team di ricerca di NVIDIA che completa l'operazione in modo incredibilmente rapido, quasi istantaneamente.
Questo articolo esaminerà in modo approfondito NeRF di NVIDIA, inclusi velocità, casi d'uso e altri fattori.
Quindi, cos'è NeRF?
NeRF sta per campi di radianza neurale, che si riferisce a una tecnica per creare viste uniche di scene complicate perfezionando una funzione di scena volumetrica continua sottostante utilizzando un piccolo numero di viste di input.
Quando viene fornita una raccolta di foto 2D come input, i NeRF di NVIDIA utilizzano reti neurali per rappresentare e generare scene 3D.
È necessario un piccolo numero di foto da varie angolazioni nell'area rete neurale, insieme alla posizione della fotocamera in ogni fotogramma.
Prima vengono scattate queste immagini, meglio è, soprattutto nelle scene con attori o oggetti in movimento.
La scena 3D generata dall'IA risulterà macchiata se c'è troppo movimento durante la procedura di acquisizione delle immagini 2D.
Prevedendo il colore della luce che emana in ogni direzione da qualsiasi posizione nell'ambiente 3D, il NeRF riempie efficacemente le lacune lasciate da questi dati per costruire l'intera immagine.
Poiché NeRF può generare una scena 3D in un paio di millisecondi dopo aver ricevuto gli input appropriati, è l'approccio NeRF più rapido fino ad oggi.
NeRF funziona così rapidamente che è praticamente istantaneo, da cui il nome. Se le rappresentazioni 3D standard come le mesh poligonali sono immagini vettoriali, i NeRF sono immagini bitmap: catturano densamente il modo in cui la luce viene emanata da un oggetto o all'interno di una scena.
NeRF istantaneo è essenziale per il 3D come le fotocamere digitali e la compressione JPEG sono state per la fotografia 2D, migliorando notevolmente la velocità, la praticità e la portata dell'acquisizione e della condivisione 3D.
Instant NeRF può essere utilizzato per produrre avatar o persino interi scenari per mondi virtuali.
Per rendere omaggio agli albori delle foto Polaroid, il team di ricerca NVIDIA ha ricreato un famoso scatto di Andy Warhol che scattava una foto istantanea e l'ha convertito in una scena 3D utilizzando Instant NeRF.
È davvero 1,000 volte più veloce?
Una scena 3D potrebbe richiedere ore per essere creata prima di NeRF, a seconda della sua complessità e qualità.
L'intelligenza artificiale ha notevolmente accelerato il processo, ma potrebbero essere necessarie ore per allenarsi correttamente. Utilizzando un metodo chiamato codifica hash multi-risoluzione, sperimentato da NVIDIA, Instant NeRF riduce i tempi di rendering di un fattore 1,000.
Per creare il modello sono stati utilizzati il pacchetto Tiny CUDA Neural Networks e NVIDIA CUDA Toolkit. Secondo NVIDIA, poiché è una rete neurale leggera, può essere addestrata e utilizzata su una singola GPU NVIDIA, con le schede NVIDIA Tensor Core che funzionano alle velocità più elevate.
Usa caso
Le automobili a guida autonoma sono una delle applicazioni più significative di questa tecnologia. Questi veicoli funzionano in gran parte immaginando l'ambiente circostante mentre procedono.
Tuttavia, il problema con la tecnologia odierna è che è goffa e richiede un po' troppo tempo.
Tuttavia, utilizzando Instant NeRF, tutto ciò che serve a un'auto a guida autonoma per approssimare/comprendere le dimensioni e la forma degli oggetti del mondo reale è catturare fotografie, trasformarle in 3D e quindi utilizzare tali informazioni.
Potrebbe esserci ancora un altro uso nel metaverse o videogiochi industrie di produzione.
Poiché Instant NeRF ti consente di costruire rapidamente avatar o persino interi mondi virtuali, questo è vero.
Quasi poco Personaggio 3D la modellazione sarebbe necessaria perché tutto ciò che dovresti fare è eseguire la rete neurale e genererebbe un personaggio per te.
Inoltre, NVIDIA sta ancora esplorando l'applicazione di questa tecnologia per ulteriori applicazioni relative all'apprendimento automatico.
Ad esempio, può essere utilizzato per tradurre le lingue in modo più accurato rispetto al passato e migliorare lo scopo generale apprendimento profondo algoritmi ora in uso per una gamma più ampia di attività.
Conclusione
Molti problemi grafici si basano su strutture di dati specifiche dell'attività per sfruttare l'uniformità o la scarsità del problema.
La pratica alternativa basata sull'apprendimento offerta dalla codifica hash multi-risoluzione di NVIDIA si concentra automaticamente sui dettagli pertinenti, indipendentemente dal carico di lavoro.
Per saperne di più su come funzionano le cose all'interno, controlla il funzionario GitHub repository.
Lascia un Commento