Tartalomjegyzék[Elrejt][Előadás]
Hé, tudtad, hogy az NVIDIA Instant NeRF neurális renderelő modelljével másodpercek alatt 3D-s jelenet hozható létre 2D-s adatbevitelből, és a jelenet fényképei ezredmásodpercek alatt renderelhetők?
Az állóképek gyűjteménye gyorsan átalakítható digitális 3D-s környezetté az inverz renderelésként ismert technika segítségével, amely lehetővé teszi az AI számára, hogy utánozza a fény működését a valóságban.
Ez az egyik első ilyen modell, amely ötvözi az ultragyors neurális hálózati betanítást és a gyors renderelést az NVIDIA kutatócsoportja által kidolgozott technikának köszönhetően, amely hihetetlenül gyorsan – szinte azonnal – befejezi a műveletet.
Ez a cikk részletesen megvizsgálja az NVIDIA NeRF-jét, beleértve annak sebességét, használati eseteit és egyéb tényezőket.
Szóval mi van NeRF?
A NeRF a neurális sugárzási mezők rövidítése, amely a bonyolult jelenetek egyedi nézeteinek létrehozására szolgáló technikára utal egy mögöttes folyamatos volumetrikus jelenetfunkció finomításával, kis számú bemeneti nézet használatával.
Ha 2D-s fényképek gyűjteményét kapja bemenetként, az NVIDIA NeRF-jeit alkalmazzák neurális hálózatok 3D jelenetek ábrázolására és generálására.
Néhány fényképre van szükség különböző szögekből a környékről neurális hálózat, valamint a kamera elhelyezkedése az egyes képkockákban.
Minél hamarabb készülnek ezek a képek, annál jobb, különösen mozgó szereplőkkel vagy tárgyakkal.
A mesterséges intelligencia által generált 3D jelenet elkenődik, ha túl sok mozgás történik a 2D képrögzítési eljárás során.
A 3D környezet bármely pontjáról minden irányban kisugárzó fény színének előrejelzésével a NeRF hatékonyan kitölti az adatok által hagyott hézagokat a teljes kép elkészítéséhez.
Mivel a NeRF a megfelelő bemenetek fogadása után néhány ezredmásodperc alatt képes 3D-s jelenetet generálni, ez az eddigi leggyorsabb NeRF megközelítés.
A NeRF olyan gyorsan működik, hogy gyakorlatilag azonnal működik, innen ered a neve is. Ha a szabványos 3D-s ábrázolások, például a sokszögű hálók vektoros képek, a NeRF-ek bittérképes képek: sűrűn rögzítik, ahogy a fény kiáramlik egy tárgyból vagy a jelenet belsejéből.
Azonnali NeRF nélkülözhetetlen a 3D-hez, mivel a digitális fényképezőgépek és a JPEG-tömörítés a 2D-s fényképezéshez is hozzájárult, drámai módon növelve a 3D-s rögzítés és megosztás sebességét, kényelmét és elérhetőségét.
Az Instant NeRF felhasználható avatarok vagy akár teljes díszletek készítésére a virtuális világok számára.
A Polaroid fotók korai napjai előtt tisztelegve az NVIDIA Research csapata újraalkotott egy híres felvételt Andy Warholról, amely azonnali fényképet készít, és az Instant NeRF segítségével 3D-s jelenetté alakította.
Tényleg 1,000-szer gyorsabb?
A 3D-s jelenet bonyolultságától és minőségétől függően órákig tarthat a NeRF előtt.
A mesterséges intelligencia jelentősen felgyorsította a folyamatot, de még így is órákba telhet a megfelelő képzés. Az NVIDIA által kifejlesztett, többfelbontású hash kódolásnak nevezett módszert használva az Instant NeRF 1,000-szeresére csökkenti a renderelési időt.
A modell elkészítéséhez a Tiny CUDA Neural Networks csomagot és az NVIDIA CUDA Toolkit-et használtuk. Az NVIDIA szerint, mivel egy könnyű neurális hálózatról van szó, egyetlen NVIDIA GPU-n is betanítható és használható, az NVIDIA Tensor Core kártyák pedig a legnagyobb sebességgel működnek.
Használja az ügyet
Az önvezető autók ennek a technológiának az egyik legjelentősebb alkalmazása. Ezek a járművek nagyrészt úgy működnek, hogy menet közben elképzelik a környezetüket.
A mai technológiával azonban az a probléma, hogy ügyetlen és túl sokáig tart.
Az Instant NeRF használatával azonban ahhoz, hogy egy önvezető autó megközelítse/megértse a valós objektumok méretét és alakját, csak állóképeket kell készítenie, 3D-ssé tenni, majd felhasználni ezeket az információkat.
Még mindig lehetne más haszna a metaverzumban ill videojáték termelő iparágak.
Mivel az Instant NeRF lehetővé teszi avatarok vagy akár teljes virtuális világok gyors építését, ez igaz.
Szinte kevés 3D karakter modellezésre lenne szükség, mert csak a neurális hálózatot kellene futtatnia, és az generálna egy karaktert.
Ezenkívül az NVIDIA továbbra is vizsgálja ennek a technológiának a további, gépi tanulással kapcsolatos alkalmazásokhoz való alkalmazását.
Használható például nyelvek korábbinál pontosabb fordítására, és javíthatja az általános célt mély tanulás A feladatok szélesebb köréhez használt algoritmusok.
Következtetés
Sok grafikai probléma a feladat-specifikus adatstruktúrákon alapul, hogy kihasználja a probléma simaságát vagy ritkaságát.
Az NVIDIA többfelbontású hash kódolása által kínált gyakorlati tanuláson alapuló alternatíva a munkaterheléstől függetlenül automatikusan a releváns részletekre koncentrál.
Ha többet szeretne megtudni a belső dolgok működéséről, keresse fel a hivatalos oldalt GitHub tárolóból.
Hagy egy Válaszol