Inhoudsopgave[Zich verstoppen][Laten zien]
Hé, wist je dat een 3D-scène kan worden gemaakt van 2D-gegevensinvoer in seconden met NVIDIA's Instant NeRF neurale weergavemodel, en dat foto's van die scène in milliseconden kunnen worden weergegeven?
Het is mogelijk om snel een verzameling stilstaande foto's om te zetten in een digitale 3D-omgeving met behulp van de techniek die bekend staat als inverse rendering, waardoor AI kan nabootsen hoe licht in de echte wereld werkt.
Het is een van de eerste modellen in zijn soort die ultrasnelle neurale netwerktraining en snelle weergave kan combineren, dankzij een techniek die het onderzoeksteam van NVIDIA heeft bedacht en die de operatie ongelooflijk snel voltooit - bijna onmiddellijk.
Dit artikel gaat dieper in op NVIDIA's NeRF, inclusief de snelheid, gebruiksscenario's en andere factoren.
Dus wat is Nerf?
NeRF staat voor neurale stralingsvelden, wat verwijst naar een techniek voor het creëren van unieke weergaven van gecompliceerde scènes door een onderliggende continue volumetrische scènefunctie te verfijnen met behulp van een klein aantal invoerweergaven.
Wanneer een verzameling 2D-foto's als invoer wordt gegeven, gebruiken de NeRF's van NVIDIA neurale netwerken om 3D-scènes weer te geven en te genereren.
Een klein aantal foto's vanuit verschillende hoeken rond het gebied zijn nodig voor de neuraal netwerk, samen met de locatie van de camera in elk frame.
Hoe eerder deze foto's worden genomen, hoe beter, vooral in scènes met bewegende acteurs of objecten.
De door AI gegenereerde 3D-scène wordt vlekkerig als er te veel beweging is tijdens de procedure voor het vastleggen van 2D-beelden.
Door de kleur van het licht te voorspellen dat in elke richting vanuit elke locatie in de 3D-omgeving uitstraalt, vult de NeRF effectief de gaten op die door deze gegevens zijn achtergelaten om het hele beeld te construeren.
Aangezien NeRF een 3D-scène kan genereren in een paar milliseconden na ontvangst van de juiste invoer, is dit de snelste NeRF-benadering tot nu toe.
NeRF werkt zo snel dat het vrijwel ogenblikkelijk is, vandaar de naam. Als standaard 3D-representaties zoals polygonale mazen vectorafbeeldingen zijn, zijn NeRF's bitmapafbeeldingen: ze geven een dichte weergave van de manier waarop licht afkomstig is van een object of in een scène.
Onmiddellijke NeRF is essentieel voor 3D, zoals digitale camera's en JPEG-compressie zijn geweest voor 2D-fotografie, waardoor de snelheid, het gemak en het bereik van het vastleggen en delen in 3D drastisch worden verbeterd.
Instant NeRF kan worden gebruikt om avatars of zelfs hele landschappen voor virtuele werelden te maken.
Om eer te bewijzen aan de begindagen van Polaroid-foto's, heeft het NVIDIA Research-team een beroemde opname van Andy Warhol gemaakt die een instant-foto maakte en deze omgezet in een 3D-scène met Instant NeRF.
Is het echt 1,000 keer sneller?
Een 3D-scène kan uren duren voordat NeRF is gemaakt, afhankelijk van de complexiteit en kwaliteit ervan.
AI heeft het proces enorm versneld, maar het kan nog steeds uren duren om goed te trainen. Met behulp van een methode genaamd multi-resolution hash-codering, ontwikkeld door NVIDIA, vermindert Instant NeRF de rendertijden met een factor 1,000.
Het Tiny CUDA Neural Networks-pakket en de NVIDIA CUDA Toolkit werden gebruikt om het model te maken. Volgens NVIDIA kan het, omdat het een lichtgewicht neuraal netwerk is, worden getraind en gebruikt op een enkele NVIDIA GPU, waarbij NVIDIA Tensor Core-kaarten met de hoogste snelheden werken.
Use Case
Zelfrijdende auto's zijn een van de belangrijkste toepassingen van deze technologie. Deze voertuigen werken grotendeels door zich hun omgeving voor te stellen terwijl ze rijden.
Het probleem met de technologie van vandaag is echter dat het onhandig is en iets te lang duurt.
Met Instant NeRF is het enige wat een zelfrijdende auto nodig heeft om de grootte en vorm van objecten uit de echte wereld te benaderen/begrijpen, het maken van foto's, deze in 3D te veranderen en die informatie vervolgens te gebruiken.
Er kan nog een ander gebruik zijn in de metaverse of video game productie industrieën.
Omdat je met Instant NeRF snel avatars of zelfs hele virtuele werelden kunt bouwen, is dit waar.
Bijna weinig 3D-personage modellering zou nodig zijn omdat u alleen het neurale netwerk hoeft te runnen en het een personage voor u zou genereren.
Bovendien onderzoekt NVIDIA nog steeds de toepassing van deze technologie voor aanvullende machine learning-gerelateerde toepassingen.
Het kan bijvoorbeeld worden gebruikt om talen nauwkeuriger te vertalen dan voorheen en het algemene doel te verbeteren diepgaand leren algoritmen die nu voor een breder scala aan taken worden gebruikt.
Conclusie
Veel grafische problemen zijn afhankelijk van taakspecifieke gegevensstructuren om gebruik te maken van de gladheid of schaarste van het probleem.
Het praktische, op leren gebaseerde alternatief dat wordt geboden door NVIDIA's hash-codering met meerdere resoluties, concentreert zich automatisch op relevante details, ongeacht de werklast.
Voor meer informatie over hoe de dingen binnen werken, bekijk de officiële GitHub repository.
Laat een reactie achter