Taula de continguts[Amaga][Espectacle]
Hola, sabíeu que es pot crear una escena 3D a partir d'entrades de dades 2D en segons amb el model de renderització neuronal Instant NeRF de NVIDIA, i les fotografies d'aquesta escena es poden renderitzar en mil·lisegons?
És possible convertir ràpidament una col·lecció de fotografies fixes en un entorn digital 3D mitjançant la tècnica coneguda com a renderització inversa, que permet que la IA imite com funciona la llum al món real.
És un dels primers models d'aquest tipus que pot combinar l'entrenament ultraràpid de la xarxa neuronal i la representació ràpida, gràcies a una tècnica que l'equip d'investigació de NVIDIA va idear que completa l'operació amb una rapidesa increïble, gairebé instantània.
Aquest article examinarà en profunditat el NeRF de NVIDIA, incloent la seva velocitat, casos d'ús i altres factors.
Què és, doncs? NeRF?
NeRF significa camps de radiació neuronal, que fa referència a una tècnica per crear vistes úniques d'escenes complicades perfeccionant una funció d'escena volumètrica contínua subjacent utilitzant un petit nombre de vistes d'entrada.
Quan es dóna una col·lecció de fotos en 2D com a entrada, s'utilitzen els NeRF de NVIDIA xarxes neuronals per representar i generar escenes en 3D.
Es necessiten un nombre reduït de fotos des de diversos angles de la zona xarxa neural, juntament amb la ubicació de la càmera a cada fotograma.
Com més aviat es facin aquestes fotografies, millor, sobretot en escenes amb actors o objectes en moviment.
L'escena 3D generada per IA es tacarà si hi ha massa moviment durant el procediment de captura d'imatges en 2D.
En predir el color de la llum que emana en totes les direccions des de qualsevol ubicació de l'entorn 3D, el NeRF omple efectivament els buits deixats per aquestes dades per construir tota la imatge.
Com que NeRF pot generar una escena 3D en un parell de mil·lisegons després de rebre les entrades adequades, és l'enfocament de NeRF més ràpid fins ara.
NeRF funciona tan ràpidament que és pràcticament instantani, d'aquí el seu nom. Si les representacions 3D estàndard com les malles poligonals són imatges vectorials, els NeRF són imatges de mapa de bits: capturen densament la manera com la llum emana d'un objecte o dins d'una escena.
NeRF instantani és essencial per al 3D, ja que les càmeres digitals i la compressió JPEG han estat a la fotografia 2D, millorant dràsticament la velocitat, la comoditat i l'abast de la captura i l'ús compartit en 3D.
Instant NeRF es pot utilitzar per produir avatars o fins i tot escenaris sencers per a mons virtuals.
Per retre homenatge als primers dies de les fotos Polaroid, l'equip de recerca de NVIDIA va recrear una famosa foto d'Andy Warhol fent una foto instantània i la va convertir en una escena 3D mitjançant Instant NeRF.
És realment 1,000 vegades més ràpid?
Una escena en 3D podria trigar hores a crear-se abans de NeRF, depenent de la seva complexitat i qualitat.
La IA va accelerar molt el procés, però encara podria trigar hores a entrenar-se correctament. Mitjançant un mètode anomenat codificació hash multiresolució, iniciat per NVIDIA, Instant NeRF redueix els temps de renderització en un factor de 1,000.
Per crear el model es van utilitzar el paquet Tiny CUDA Neural Networks i el NVIDIA CUDA Toolkit. Segons NVIDIA, com que és una xarxa neuronal lleugera, es pot entrenar i utilitzar en una única GPU NVIDIA, amb les targetes NVIDIA Tensor Core que funcionen a les velocitats més ràpides.
Cas d'ús
Els automòbils amb conducció autònoma són una de les aplicacions més importants d'aquesta tecnologia. Aquests vehicles funcionen en gran part imaginant el seu entorn mentre avancen.
Tanmateix, el problema de la tecnologia actual és que és maldestra i triga una mica massa.
Tanmateix, utilitzant Instant NeRF, tot el que es necessita perquè un cotxe amb conducció autònoma pugui aproximar/entendre la mida i la forma dels objectes del món real és capturar fotografies fixes, convertir-les en 3D i després utilitzar aquesta informació.
Encara podria haver-hi un altre ús en el metavers o videojocs indústries de producció.
Com que Instant NeRF us permet crear avatars o fins i tot mons virtuals sencers ràpidament, això és cert.
Gairebé poc Personatge 3D caldria modelar perquè tot el que hauríeu de fer és executar la xarxa neuronal i us generaria un personatge.
A més, NVIDIA encara està explorant l'aplicació d'aquesta tecnologia per a aplicacions addicionals relacionades amb l'aprenentatge automàtic.
Per exemple, es pot utilitzar per traduir idiomes amb més precisió que abans i millorar la finalitat general aprenentatge profund algorismes que s'utilitzen ara per a una gamma més àmplia de tasques.
Conclusió
Molts problemes de gràfics depenen d'estructures de dades específiques de la tasca per fer ús de la suavitat o escàs del problema.
L'alternativa pràctica basada en l'aprenentatge que ofereix la codificació hash multiresolució de NVIDIA es concentra automàticament en els detalls pertinents, independentment de la càrrega de treball.
Per obtenir més informació sobre com funcionen les coses a l'interior, consulteu l'oficial GitHub dipòsit
Deixa un comentari