Conteúdo[Esconder][Mostrar]
Ei, você sabia que uma cena 3D pode ser criada a partir de entradas de dados 2D em segundos com o modelo de renderização neural Instant NeRF da NVIDIA, e as fotografias dessa cena podem ser renderizadas em milissegundos?
É possível converter rapidamente uma coleção de fotografias em um ambiente 3D digital usando a técnica conhecida como renderização inversa, que permite que a IA imite como a luz funciona no mundo real.
É um dos primeiros modelos desse tipo que pode combinar treinamento de rede neural ultrarrápido e renderização rápida, graças a uma técnica desenvolvida pela equipe de pesquisa da NVIDIA que conclui a operação de forma incrivelmente rápida – quase instantaneamente.
Este artigo examinará detalhadamente o NeRF da NVIDIA, incluindo sua velocidade, casos de uso e outros fatores.
Então, o que é NeRF?
NeRF significa campos de radiação neural, que se refere a uma técnica para criar visualizações únicas de cenas complicadas, refinando uma função de cena volumétrica contínua subjacente usando um pequeno número de visualizações de entrada.
Quando recebem uma coleção de fotos 2D como entrada, os NeRFs da NVIDIA empregam redes neurais para representar e gerar cenas 3D.
Um pequeno número de fotos de vários ângulos ao redor da área são necessários para a rede neural, juntamente com a localização da câmera em cada quadro.
Quanto mais cedo essas fotos forem tiradas, melhor, especialmente em cenas com atores ou objetos em movimento.
A cena 3D gerada por IA ficará manchada se houver muito movimento durante o procedimento de captura de imagem 2D.
Ao prever a cor da luz que emana em todas as direções de qualquer local no ambiente 3D, o NeRF preenche efetivamente as lacunas deixadas por esses dados para construir a imagem inteira.
Como o NeRF pode gerar uma cena 3D em alguns milissegundos após receber as entradas apropriadas, é a abordagem mais rápida do NeRF até hoje.
O NeRF funciona tão rapidamente que é praticamente instantâneo, daí seu nome. Se as representações 3D padrão, como malhas poligonais, são imagens vetoriais, os NeRFs são imagens bitmap: eles capturam densamente a forma como a luz emana de um objeto ou dentro de uma cena.
NeRF instantâneo é essencial para o 3D, assim como as câmeras digitais e a compactação JPEG foram para a fotografia 2D, aumentando drasticamente a velocidade, a conveniência e o alcance da captura e compartilhamento em 3D.
Instant NeRF pode ser usado para produzir avatares ou até mesmo cenários inteiros para mundos virtuais.
Para homenagear os primeiros dias das fotos Polaroid, a equipe de pesquisa da NVIDIA recriou uma famosa foto de Andy Warhol tirando uma foto instantânea e a converteu em uma cena 3D usando o Instant NeRF.
É realmente 1,000 vezes mais rápido?
Uma cena 3D pode levar horas para ser criada antes do NeRF, dependendo de sua complexidade e qualidade.
A IA acelerou bastante o processo, mas ainda pode levar horas para treinar adequadamente. Usando um método chamado codificação de hash multi-resolução, pioneiro da NVIDIA, o Instant NeRF reduz os tempos de renderização em um fator de 1,000.
O pacote Tiny CUDA Neural Networks e o NVIDIA CUDA Toolkit foram usados para criar o modelo. Segundo a NVIDIA, por ser uma rede neural leve, pode ser treinada e usada em uma única GPU NVIDIA, com placas NVIDIA Tensor Core operando nas velocidades mais rápidas.
Caso de uso
Os automóveis autônomos são uma das aplicações mais significativas dessa tecnologia. Esses veículos operam em grande parte imaginando seus arredores à medida que avançam.
No entanto, o problema com a tecnologia de hoje é que ela é desajeitada e demora um pouco demais.
No entanto, usando o Instant NeRF, tudo o que é necessário para um carro autônomo aproximar/entender o tamanho e a forma de objetos do mundo real é capturar fotografias, transformá-las em 3D e usar essas informações.
Ainda pode haver outro uso no metaverso ou videogame indústrias de produção.
Como o Instant NeRF permite que você construa avatares ou mesmo mundos virtuais inteiros rapidamente, isso é verdade.
quase pouco Personagem 3D a modelagem seria necessária porque tudo o que você precisa fazer é executar a rede neural e gerar um personagem para você.
Além disso, a NVIDIA ainda está explorando a aplicação dessa tecnologia para aplicativos adicionais relacionados ao aprendizado de máquina.
Por exemplo, pode ser usado para traduzir idiomas com mais precisão do que anteriormente e melhorar o uso geral deep learning algoritmos agora em uso para uma ampla gama de tarefas.
Conclusão
Muitos problemas gráficos dependem de estruturas de dados específicas de tarefas para fazer uso da suavidade ou escassez do problema.
A alternativa prática baseada em aprendizado oferecida pela codificação de hash multi-resolução da NVIDIA concentra-se automaticamente nos detalhes pertinentes, independentemente da carga de trabalho.
Para saber mais sobre como as coisas funcionam por dentro, confira o site oficial GitHub repositório.
Deixe um comentário