Table des matières[Cacher][Montrer]
Hé, saviez-vous qu'une scène 3D peut être créée à partir d'entrées de données 2D en quelques secondes avec le modèle de rendu neuronal Instant NeRF de NVIDIA, et que les photographies de cette scène peuvent être rendues en quelques millisecondes ?
Il est possible de convertir rapidement une collection de photographies fixes en un environnement 3D numérique en utilisant la technique connue sous le nom de rendu inverse, qui permet à l'IA d'imiter le fonctionnement de la lumière dans le monde réel.
C'est l'un des premiers modèles de ce type qui peut combiner une formation ultra-rapide de réseau de neurones et un rendu rapide, grâce à une technique conçue par l'équipe de recherche de NVIDIA qui termine l'opération incroyablement rapidement - presque instantanément.
Cet article examinera en profondeur le NeRF de NVIDIA, y compris sa vitesse, ses cas d'utilisation et d'autres facteurs.
Donc qu'est-ce Nerf?
NeRF signifie champs de rayonnement neuronal, qui fait référence à une technique permettant de créer des vues uniques de scènes complexes en affinant une fonction de scène volumétrique continue sous-jacente à l'aide d'un petit nombre de vues d'entrée.
Lorsqu'ils reçoivent une collection de photos 2D en entrée, les NeRF de NVIDIA utilisent les réseaux de neurones pour représenter et générer des scènes 3D.
Un petit nombre de photos sous différents angles autour de la zone sont nécessaires pour la Réseau neuronal, ainsi que l'emplacement de la caméra dans chaque image.
Plus tôt ces photos sont prises, mieux c'est, surtout dans les scènes avec des acteurs ou des objets en mouvement.
La scène 3D générée par l'IA sera tachée s'il y a trop de mouvement pendant la procédure de capture d'image 2D.
En prédisant la couleur de la lumière émanant dans toutes les directions à partir de n'importe quel endroit de l'environnement 3D, le NeRF comble efficacement les lacunes laissées par ces données pour construire l'image entière.
Étant donné que NeRF peut générer une scène 3D en quelques millisecondes après avoir reçu les entrées appropriées, il s'agit de l'approche NeRF la plus rapide à ce jour.
NeRF fonctionne si rapidement qu'il est pratiquement instantané, d'où son nom. Si les représentations 3D standard comme les maillages polygonaux sont des images vectorielles, les NeRF sont des images bitmap : elles capturent de manière dense la façon dont la lumière émane d'un objet ou à l'intérieur d'une scène.
NeRF instantané est essentiel à la 3D comme les appareils photo numériques et la compression JPEG l'ont été à la photographie 2D, améliorant considérablement la vitesse, la commodité et la portée de la capture et du partage 3D.
Instant NeRF peut être utilisé pour produire des avatars ou même des scènes entières pour des mondes virtuels.
Pour rendre hommage aux débuts des photos Polaroid, l'équipe NVIDIA Research a recréé une célèbre photo d'Andy Warhol prenant une photo instantanée et l'a convertie en une scène 3D à l'aide de Instant NeRF.
Est-ce vraiment 1,000 XNUMX fois plus rapide ?
Une scène 3D pouvait prendre des heures à créer avant NeRF, selon sa complexité et sa qualité.
L'IA a considérablement accéléré le processus, mais cela pouvait encore prendre des heures pour s'entraîner correctement. À l'aide d'une méthode appelée codage de hachage multi-résolution, mise au point par NVIDIA, Instant NeRF réduit les temps de rendu d'un facteur de 1,000 XNUMX.
Le package Tiny CUDA Neural Networks et le NVIDIA CUDA Toolkit ont été utilisés pour créer le modèle. Selon NVIDIA, comme il s'agit d'un réseau de neurones léger, il peut être formé et utilisé sur un seul GPU NVIDIA, les cartes NVIDIA Tensor Core fonctionnant aux vitesses les plus rapides.
Case Study
Les automobiles autonomes sont l'une des applications les plus importantes de cette technologie. Ces véhicules fonctionnent en grande partie en imaginant leur environnement au fur et à mesure.
Cependant, le problème avec la technologie d'aujourd'hui est qu'elle est maladroite et prend un peu trop de temps.
Cependant, en utilisant Instant NeRF, tout ce dont une voiture autonome a besoin pour se rapprocher/comprendre la taille et la forme d'objets du monde réel est de capturer des photographies fixes, de les transformer en 3D, puis d'utiliser ces informations.
Il pourrait encore y avoir une autre utilisation dans le métaverse ou jeu vidéo industries de production.
Parce que Instant NeRF vous permet de créer rapidement des avatars ou même des mondes virtuels entiers, c'est vrai.
Presque peu Personnage 3D la modélisation serait nécessaire car tout ce que vous auriez à faire serait d'exécuter le réseau de neurones, et cela générerait un personnage pour vous.
En outre, NVIDIA étudie toujours l'application de cette technologie pour d'autres applications liées à l'apprentissage automatique.
Par exemple, il peut être utilisé pour traduire des langues avec plus de précision qu'auparavant et améliorer l'utilisation générale l'apprentissage en profondeur algorithmes actuellement utilisés pour un plus large éventail de tâches.
Conclusion
De nombreux problèmes graphiques reposent sur des structures de données spécifiques à une tâche pour tirer parti de la fluidité ou de la rareté du problème.
L'alternative pratique basée sur l'apprentissage offerte par le codage de hachage multi-résolution de NVIDIA se concentre automatiquement sur les détails pertinents, quelle que soit la charge de travail.
Pour en savoir plus sur le fonctionnement des choses à l'intérieur, consultez le site officiel GitHub dépôt.
Soyez sympa! Laissez un commentaire