Le rendu neuronal est une technique émergente d'apprentissage en profondeur qui vise à augmenter le pipeline classique de l'infographie avec des réseaux de neurones.
Un algorithme de rendu neuronal nécessitera un ensemble d'images représentant différents angles de la même scène. Ces images seront ensuite introduites dans un réseau de neurones pour créer un modèle capable de produire de nouveaux angles de la même scène.
L'éclat du rendu neuronal réside dans la façon dont il peut recréer avec précision des scènes photoréalistes détaillées sans avoir à s'appuyer sur des méthodes classiques qui peuvent être plus exigeantes en termes de calcul.
Avant de plonger dans le fonctionnement du rendu neuronal, passons en revue les bases du rendu classique.
Qu'est-ce que le rendu classique ?
Commençons par comprendre les méthodes typiques utilisées dans le rendu classique.
Le rendu classique fait référence à l'ensemble des techniques utilisées pour créer une image 2D d'une scène en trois dimensions. Également connu sous le nom de synthèse d'images, le rendu classique utilise divers algorithmes pour simuler l'interaction de la lumière avec différents types d'objets.
Par exemple, le rendu d'une brique pleine nécessitera un ensemble particulier d'algorithmes pour déterminer la position de l'ombre ou le degré d'éclairage de chaque côté du mur. De même, les objets qui réfléchissent ou réfractent la lumière, comme un miroir, un objet brillant ou un plan d'eau, nécessiteront également leurs propres techniques.
Dans le rendu classique, chaque actif est représenté par un maillage polygonal. Un programme de shader utilisera ensuite le polygone comme entrée pour déterminer à quoi ressemblera l'objet compte tenu de l'éclairage et de l'angle spécifiés.
Un rendu réaliste nécessitera beaucoup plus de puissance de calcul puisque nos actifs finissent par avoir des millions de polygones à utiliser en entrée. La sortie générée par ordinateur qui est courante dans les superproductions hollywoodiennes prend généralement des semaines, voire des mois, et peut coûter des millions de dollars.
L'approche du lancer de rayons est particulièrement coûteuse car chaque pixel de l'image finale nécessite un calcul du chemin parcouru par la lumière de la source lumineuse à l'objet et à la caméra.
Les progrès du matériel ont rendu le rendu graphique beaucoup plus accessible aux utilisateurs. Par exemple, bon nombre des dernières jeux vidéo permettent des effets de lancer de rayons tels que des reflets et des ombres photoréalistes tant que leur matériel est à la hauteur de la tâche.
Les derniers GPU (unités de traitement graphique) sont spécialement conçus pour aider le CPU à gérer les calculs très complexes nécessaires pour rendre des graphiques photoréalistes.
L'essor du rendu neuronal
Le rendu neuronal tente d'aborder le problème de rendu d'une manière différente. Au lieu d'utiliser des algorithmes pour simuler l'interaction de la lumière avec les objets, et si nous créions un modèle qui apprend à quoi une scène devrait ressembler sous un certain angle ?
Vous pouvez le considérer comme un raccourci pour créer des scènes photoréalistes. Avec le rendu neuronal, nous n'avons pas besoin de calculer comment la lumière interagit avec un objet, nous avons juste besoin de suffisamment de données d'entraînement.
Cette approche permet aux chercheurs de créer des rendus de haute qualité de scènes complexes sans avoir à effectuer
Que sont les champs neuronaux ?
Comme mentionné précédemment, la plupart des rendus 3D utilisent des maillages polygonaux pour stocker des données sur la forme et la texture de chaque objet.
Cependant, les champs neuronaux gagnent en popularité en tant que méthode alternative de représentation d'objets tridimensionnels. Contrairement aux maillages polygonaux, les champs neuronaux sont différentiables et continus.
Que voulons-nous dire lorsque nous disons que les champs neuronaux sont différentiables ?
Une sortie 2D d'un champ neuronal peut maintenant être formée pour devenir photoréaliste en ajustant simplement les poids du réseau neuronal.
Grâce aux champs neuronaux, nous n'avons plus besoin de simuler la physique de la lumière pour rendre une scène. La connaissance de la façon dont le rendu final sera éclairé est maintenant stockée implicitement dans les poids de notre Réseau neuronal.
Cela nous permet de créer relativement rapidement de nouvelles images et vidéos à partir d'une poignée de photos ou de séquences vidéo.
Comment entraîner un champ neuronal ?
Maintenant que nous connaissons les bases du fonctionnement d'un champ neuronal, examinons comment les chercheurs sont capables de former un champ de rayonnement neuronal ou Nerf.
Tout d'abord, nous devrons échantillonner les coordonnées aléatoires d'une scène et les alimenter dans un réseau de neurones. Ce réseau pourra alors produire des quantités sur le terrain.
Les quantités de champ produites sont considérées comme des échantillons du domaine de reconstruction souhaité de la scène que nous voulons créer.
Nous devrons ensuite mapper la reconstruction sur des images 2D réelles. Un algorithme calculera alors l'erreur de reconstruction. Cette erreur va guider le réseau de neurones pour optimiser sa capacité à reconstruire la scène.
Applications du rendu neuronal
Nouvelle synthèse de vue
La nouvelle synthèse de vues fait référence à la tâche de créer des perspectives de caméra sous de nouveaux angles en utilisant des données provenant d'un nombre limité de perspectives.
Les techniques de rendu neuronal essaient de deviner la position relative de la caméra pour chaque image dans l'ensemble de données et alimentent ces données dans un réseau neuronal.
Le réseau de neurones créera alors une représentation 3D de la scène où chaque point de l'espace 3D a une couleur et une densité associées.
Une nouvelle implémentation de NeRFs dans Google Street View utilise une nouvelle synthèse de vue pour permettre aux utilisateurs d'explorer des lieux du monde réel comme s'ils contrôlaient une caméra prenant une vidéo. Cela permet aux touristes d'explorer les destinations de manière immersive avant de décider de se rendre sur un site spécifique.
Avatars photoréalistes
Des techniques avancées de rendu neuronal peuvent également ouvrir la voie à des avatars numériques plus réalistes. Ces avatars peuvent ensuite être utilisés pour divers rôles tels que les assistants virtuels ou le service client, ou comme un moyen pour les utilisateurs d'insérer leur ressemblance dans un jeu vidéo ou rendu simulé.
Par exemple, un papier publié en mars 2023 suggère d'utiliser des techniques de rendu neuronal pour créer un avatar photo-réaliste après quelques minutes de séquences vidéo.
Conclusion
Le rendu neuronal est un domaine d'étude passionnant qui a le potentiel de changer l'ensemble de l'industrie de l'infographie.
La technologie pourrait réduire la barrière d'entrée pour la création d'actifs 3D. Les équipes d'effets visuels n'auront peut-être plus à attendre des jours pour rendre quelques minutes de graphismes photoréalistes.
La combinaison de la technologie avec les applications VR et AR existantes peut également permettre aux développeurs de créer des expériences plus immersives.
Selon vous, quel est le véritable potentiel du rendu neuronal ?
Soyez sympa! Laissez un commentaire