Table of Contents[Ferstopje][Toanje]
Hé, wisten jo dat in 3D-sêne yn sekonden kin wurde makke fan 2D-gegevensynputen mei NVIDIA's Instant NeRF-neural rendering-model, en foto's fan dat sêne kinne wurde werjûn yn millisekonden?
It is mooglik om in kolleksje stilsteande foto's fluch te konvertearjen yn in digitale 3D-omjouwing mei de technyk bekend as inverse rendering, wêrtroch AI mooglik makket om te imitearjen hoe't ljocht yn 'e eigentlike wrâld wurket.
It is ien fan 'e earste modellen yn har soarte dy't ultrasnelle training foar neuronale netwurken en rappe rendering kin kombinearje, tank oan in technyk dy't it ûndersyksteam fan NVIDIA betocht dy't de operaasje ongelooflijk fluch foltôget - hast direkt.
Dit artikel sil de NeRF fan NVIDIA yngeand ûndersykje, ynklusyf de snelheid, gebrûksgefallen en oare faktoaren.
Dat, wat is it? NeRF?
NeRF stiet foar neural útstrieling fjilden, dat ferwiist nei in technyk foar it meitsjen fan unike werjeften fan yngewikkelde sênes troch ferfine in ûnderlizzende trochgeande volumetryske sêne funksje mei help fan in lyts oantal ynfier views.
As in kolleksje fan 2D-foto's as ynfier wurdt jûn, brûke NVIDIA's NeRF's neurale netwurken om 3D-sênes te fertsjintwurdigjen en te generearjen.
In lyts oantal foto 's út ferskate hoeken om it gebiet binne nedich foar de neuronale netwurk, tegearre mei de lokaasje fan 'e kamera yn elk frame.
Hoe earder dizze foto's makke wurde, hoe better, benammen yn sênes mei bewegende akteurs of objekten.
De AI-generearre 3D-sêne sil wurde smudge as d'r te folle beweging is tidens de 2D-foto-opnameproseduere.
Troch de kleur fan ljocht te foarsizzen dy't yn elke rjochting útkomt fan elke lokaasje yn 'e 3D-omjouwing, foltôget de NeRF effektyf de gatten yn dy't dizze gegevens ferlitte om it heule byld te konstruearjen.
Sûnt NeRF in 3D-sêne kin generearje yn in pear millisekonden nei it ûntfangen fan de juste ynputs, is it de rapste NeRF-oanpak oant no ta.
NeRF wurket sa fluch dat it praktysk direkt is, fandêr syn namme. As standert 3D-fertsjintwurdigingen lykas polygonale mazen fektorôfbyldings binne, binne NeRF's bitmapôfbyldings: se fange ticht de manier wêrop ljocht út in objekt of binnen in sêne komt.
Instant NeRF is essensjeel foar 3D, om't digitale kamera's en JPEG-kompresje west hawwe foar 2D-fotografy, wat de snelheid, gemak en berik fan 3D-opname en dielen dramatysk ferbettert.
Instant NeRF kin brûkt wurde om avatars of sels hiele lânskippen foar firtuele wrâlden te produsearjen.
Om earbetoan te jaan oan 'e iere dagen fan Polaroid-foto's, makke it NVIDIA Research-team in ferneamde shot fan Andy Warhol dy't in direkte foto naam en it omboude yn in 3D-sêne mei Instant NeRF.
Is it echt 1,000 kear flugger?
In 3D-sêne koe oeren duorje om te meitsjen foar NeRF, ôfhinklik fan syn yngewikkeldheid en kwaliteit.
AI fersnelle it proses sterk, mar it koe noch oeren duorje om goed te trainen. Mei help fan in metoade neamd multi-resolúsje hash-kodearring, pionierd troch NVIDIA, fermindert Instant NeRF rendertiden mei in faktor fan 1,000.
It Tiny CUDA Neural Networks-pakket en de NVIDIA CUDA Toolkit waarden brûkt om it model te meitsjen. Neffens NVIDIA, om't it in lichtgewicht neuraal netwurk is, kin it wurde oplaat en brûkt op ien NVIDIA GPU, mei NVIDIA Tensor Core-kaarten dy't operearje op de rapste snelheden.
Brûk Case
Selsridende auto's binne ien fan 'e wichtichste tapassingen fan dizze technology. Dizze auto's wurkje foar in grut part troch har omjouwing foar te stellen as se gean.
It probleem mei de hjoeddeistige technology is lykwols dat it ûnhandig is en wat te lang duorret.
It brûken fan Instant NeRF is lykwols alles wat nedich is foar in selsridende auto om de grutte en foarm fan objekten yn 'e echte wrâld te benaderjen / te begripen, om stilsteande foto's te meitsjen, se yn 3D te feroarjen en dan dizze ynformaasje te brûken.
Der koe noch in oar gebrûk wêze yn it metavers of fideospultsje produksje yndustry.
Om't Instant NeRF jo avatars of sels heule firtuele wrâlden fluch kinne bouwe, is dit wier.
Hast lyts 3D karakter modellewurk soe wêze nedich omdat alles wat jo hoege te dwaan is rinne it neurale netwurk, en it soe generearje in karakter foar dy.
Derneist ûndersiket NVIDIA noch it tapassen fan dizze technology foar ekstra masine-learen-relatearre applikaasjes.
It kin bygelyks brûkt wurde om talen krekter as earder oer te setten en it algemiene doel te ferbetterjen djip learen algoritmen no yn gebrûk foar in breder skala oan taken.
Konklúzje
In protte grafyske problemen fertrouwe op taakspesifike gegevensstruktueren om gebrûk te meitsjen fan de glêdens of sparsiteit fan it probleem.
It praktyske op learen basearre alternatyf oanbean troch NVIDIA's multi-resolúsje hash-kodearring konsintrearret automatysk op pertinint detail, nettsjinsteande de wurkdruk.
Om mear te learen oer hoe't dingen binnen wurkje, besjoch de offisjele GitHub repository.
Leave a Reply