Índice analítico[Ocultar][Mostrar]
Sabías que se pode crear unha escena 3D a partir de entradas de datos 2D en segundos co modelo de renderización neuronal Instant NeRF de NVIDIA, e as fotografías desa escena pódense renderizar en milisegundos?
É posible converter rapidamente unha colección de fotografías fixas nun ambiente dixital 3D usando a técnica coñecida como renderización inversa, que permite que a IA imite como funciona a luz no mundo real.
É un dos primeiros modelos deste tipo que pode combinar o adestramento ultrarrápido da rede neuronal e a renderización rápida, grazas a unha técnica que o equipo de investigación de NVIDIA deseñou e que completa a operación de forma incriblemente rápida, case instantáneamente.
Este artigo examinará en profundidade o NeRF de NVIDIA, incluíndo a súa velocidade, casos de uso e outros factores.
Entón, o que é NeRF?
NeRF significa campos de radiación neural, que se refire a unha técnica para crear vistas únicas de escenas complicadas perfeccionando unha función de escena volumétrica continua subxacente utilizando un pequeno número de vistas de entrada.
Cando se dá unha colección de fotos 2D como entrada, os NeRF de NVIDIA empregan redes neuronales para representar e xerar escenas 3D.
Precísase un pequeno número de fotos desde varios ángulos ao redor da zona rede neural, xunto coa localización da cámara en cada fotograma.
Canto antes se tomen estas imaxes, mellor, especialmente en escenas con actores ou obxectos en movemento.
A escena 3D xerada pola IA quedará manchada se hai moito movemento durante o procedemento de captura de imaxes en 2D.
Ao predecir a cor da luz que emana en todas as direccións desde calquera lugar do ambiente 3D, o NeRF enche eficazmente os ocos deixados por estes datos para construír a imaxe completa.
Dado que NeRF pode xerar unha escena 3D nun par de milisegundos despois de recibir as entradas adecuadas, é o enfoque de NeRF máis rápido ata a data.
NeRF funciona tan rápido que é practicamente instantáneo, de aí o seu nome. Se as representacións 3D estándar como as mallas poligonais son imaxes vectoriais, os NeRF son imaxes de mapa de bits: capturan densamente a forma en que a luz emana dun obxecto ou dentro dunha escena.
NeRF instantáneo é esencial para o 3D, xa que as cámaras dixitais e a compresión JPEG foron para a fotografía 2D, mellorando drasticamente a velocidade, a comodidade e o alcance da captura e uso compartido en 3D.
Instant NeRF pódese usar para producir avatares ou mesmo escenarios enteiros para mundos virtuais.
Para render homenaxe aos primeiros tempos das fotos Polaroid, o equipo de investigación de NVIDIA recreou unha famosa toma de Andy Warhol tomando unha foto instantánea e converteuna nunha escena 3D usando Instant NeRF.
É realmente 1,000 veces máis rápido?
Unha escena en 3D pode tardar horas en crearse antes de NeRF, dependendo da súa complexidade e calidade.
A IA acelerou moito o proceso, pero aínda pode levar horas adestrarse correctamente. Usando un método chamado codificación hash de resolución múltiple, iniciado por NVIDIA, Instant NeRF reduce os tempos de renderización nun factor de 1,000.
Para crear o modelo utilizáronse o paquete Tiny CUDA Neural Networks e o NVIDIA CUDA Toolkit. Segundo NVIDIA, ao ser unha rede neuronal lixeira, pódese adestrar e usar nunha única GPU NVIDIA, coas tarxetas NVIDIA Tensor Core que funcionan ás velocidades máis rápidas.
Usar caso
Os automóbiles de condución autónoma son unha das aplicacións máis importantes desta tecnoloxía. Estes vehículos funcionan en gran parte imaxinando o seu entorno mentres avanzan.
Non obstante, o problema coa tecnoloxía actual é que é torpe e leva demasiado tempo.
Non obstante, usando Instant NeRF, o único que se precisa para que un coche autónomo aproxime/comprenda o tamaño e a forma dos obxectos do mundo real é capturar fotografías fixas, convertelas en 3D e, a continuación, utilizar esa información.
Aínda podería haber outro uso no metaverso ou vídeo-game industrias de produción.
Porque Instant NeRF permítelle construír avatares ou mesmo mundos virtuais enteiros rapidamente, isto é certo.
Case pouco Personaxe 3D o modelado sería necesario porque todo o que tería que facer é executar a rede neuronal e xeraría un personaxe para vostede.
Ademais, NVIDIA aínda está a explorar a aplicación desta tecnoloxía para aplicacións adicionais relacionadas coa aprendizaxe automática.
Por exemplo, pódese usar para traducir idiomas con máis precisión que antes e mellorar o propósito xeral aprendizaxe profunda algoritmos agora en uso para unha gama máis ampla de tarefas.
Conclusión
Moitos problemas gráficos dependen de estruturas de datos específicas da tarefa para facer uso da suavidade ou escaseza do problema.
A alternativa práctica baseada na aprendizaxe que ofrece a codificación hash multi-resolución de NVIDIA concéntrase automaticamente nos detalles pertinentes, independentemente da carga de traballo.
Para saber máis sobre como funcionan as cousas no interior, consulta o oficial GitHub repositorio.
Deixe unha resposta