Índice del contenido[Esconder][Espectáculo]
Oye, ¿sabías que se puede crear una escena 3D a partir de entradas de datos 2D en segundos con el modelo de renderizado neuronal Instant NeRF de NVIDIA, y las fotografías de esa escena se pueden renderizar en milisegundos?
Es posible convertir rápidamente una colección de fotografías fijas en un entorno digital 3D utilizando la técnica conocida como representación inversa, que permite a la IA imitar cómo funciona la luz en el mundo real.
Es uno de los primeros modelos de su tipo que puede combinar el entrenamiento ultrarrápido de redes neuronales y la renderización rápida, gracias a una técnica que ideó el equipo de investigación de NVIDIA que completa la operación increíblemente rápido, casi instantáneamente.
Este artículo examinará el NeRF de NVIDIA en profundidad, incluida su velocidad, casos de uso y otros factores.
Entonces que es NERF?
NeRF significa campos de radiación neuronal, que se refiere a una técnica para crear vistas únicas de escenas complicadas refinando una función de escena volumétrica continua subyacente utilizando una pequeña cantidad de vistas de entrada.
Cuando se les da una colección de fotos 2D como entrada, los NeRF de NVIDIA emplean redes neuronales para representar y generar escenas 3D.
Se necesita una pequeña cantidad de fotos desde varios ángulos alrededor del área para la red neural, junto con la ubicación de la cámara en cada cuadro.
Cuanto antes se tomen estas fotografías, mejor, especialmente en escenas con actores u objetos en movimiento.
La escena 3D generada por IA se manchará si hay demasiado movimiento durante el procedimiento de captura de imágenes 2D.
Al predecir el color de la luz que emana en todas las direcciones desde cualquier ubicación en el entorno 3D, el NeRF llena efectivamente los espacios que dejan estos datos para construir la imagen completa.
Dado que NeRF puede generar una escena 3D en un par de milisegundos después de recibir las entradas adecuadas, es el enfoque de NeRF más rápido hasta la fecha.
NeRF funciona tan rápido que es prácticamente instantáneo, de ahí su nombre. Si las representaciones 3D estándar, como las mallas poligonales, son imágenes vectoriales, los NeRF son imágenes de mapa de bits: capturan densamente la forma en que la luz emana de un objeto o dentro de una escena.
NeRF instantáneo es esencial para el 3D como lo han sido las cámaras digitales y la compresión JPEG para la fotografía en 2D, mejorando drásticamente la velocidad, la comodidad y el alcance de la captura y el uso compartido en 3D.
Instant NeRF se puede utilizar para producir avatares o incluso escenarios completos para mundos virtuales.
Para rendir homenaje a los primeros días de las fotos Polaroid, el equipo de investigación de NVIDIA recreó una famosa toma de Andy Warhol tomando una foto instantánea y la convirtió en una escena 3D usando Instant NeRF.
¿Es realmente 1,000 veces más rápido?
Una escena 3D podría tardar horas en crearse antes de NeRF, dependiendo de su complejidad y calidad.
AI aceleró enormemente el proceso, pero aún podría llevar horas entrenar adecuadamente. Usando un método llamado codificación hash multirresolución, iniciado por NVIDIA, Instant NeRF reduce los tiempos de renderizado en un factor de 1,000.
El paquete Tiny CUDA Neural Networks y NVIDIA CUDA Toolkit se utilizaron para crear el modelo. Según NVIDIA, debido a que es una red neuronal liviana, se puede entrenar y usar en una sola GPU NVIDIA, con tarjetas NVIDIA Tensor Core operando a las velocidades más rápidas.
Caso de uso
Los automóviles autónomos son una de las aplicaciones más significativas de esta tecnología. Estos vehículos funcionan en gran medida imaginando su entorno a medida que avanzan.
Sin embargo, el problema con la tecnología actual es que es torpe y lleva demasiado tiempo.
Sin embargo, al usar Instant NeRF, todo lo que se requiere para que un automóvil autónomo se aproxime/entienda el tamaño y la forma de los objetos del mundo real es capturar fotografías fijas, convertirlas en 3D y luego usar esa información.
Todavía podría haber otro uso en el metaverso o videojuego industrias de producción.
Debido a que Instant NeRF le permite crear avatares o incluso mundos virtuales completos rápidamente, esto es cierto.
casi poco Personaje 3D se requeriría modelado porque todo lo que necesitaría hacer es ejecutar la red neuronal, y generaría un personaje para usted.
Además, NVIDIA todavía está explorando la aplicación de esta tecnología para aplicaciones adicionales relacionadas con el aprendizaje automático.
Por ejemplo, se puede utilizar para traducir idiomas con mayor precisión que antes y mejorar el propósito general deep learning algoritmos ahora en uso para una gama más amplia de tareas.
Conclusión
Muchos problemas de gráficos se basan en estructuras de datos específicas de la tarea para aprovechar la suavidad o la escasez del problema.
La alternativa práctica basada en el aprendizaje que ofrece la codificación hash multirresolución de NVIDIA se concentra automáticamente en los detalles pertinentes, independientemente de la carga de trabajo.
Para obtener más información sobre cómo funcionan las cosas en el interior, consulte el sitio web oficial GitHub repositorio.
Deje un comentario