Hej, vedeli ste, že 3D scéna môže byť vytvorená z 2D dátových vstupov v priebehu niekoľkých sekúnd pomocou NVIDIA Instant NeRF neurónového renderovacieho modelu a fotografie tejto scény môžu byť vykreslené za milisekúnd?
Zbierku statických fotografií je možné rýchlo previesť do digitálneho 3D prostredia pomocou techniky známej ako inverzné vykresľovanie, ktorá umožňuje AI napodobňovať, ako svetlo funguje v skutočnom svete.
Je to jeden z prvých modelov svojho druhu, ktorý dokáže kombinovať ultrarýchle trénovanie neurónových sietí a rýchle vykresľovanie vďaka technike, ktorú vymyslel výskumný tím NVIDIA a ktorá dokončí operáciu neuveriteľne rýchlo – takmer okamžite.
Tento článok podrobne preskúma NeRF od NVIDIA vrátane jeho rýchlosti, prípadov použitia a ďalších faktorov.
Takže, čo je NeRF?
NeRF je skratka pre polia neurónového žiarenia, čo sa týka techniky vytvárania jedinečných pohľadov na komplikované scény spresnením základnej funkcie súvislej objemovej scény pomocou malého počtu vstupných pohľadov.
Keď je ako vstup poskytnutá zbierka 2D fotografií, využívajú NVIDIA NeRF neurálne siete reprezentovať a vytvárať 3D scény.
Na to je potrebné malé množstvo fotografií z rôznych uhlov okolia neurónové sieť, spolu s umiestnením fotoaparátu v každom zábere.
Čím skôr sa tieto snímky urobia, tým lepšie, najmä v scénach s pohyblivými hercami alebo objektmi.
3D scéna vygenerovaná AI bude rozmazaná, ak sa počas snímania 2D obrazu vyskytne príliš veľa pohybu.
Predpovedaním farby svetla vyžarujúceho v každom smere z akéhokoľvek miesta v 3D prostredí, NeRF efektívne vypĺňa medzery, ktoré zanechávajú tieto dáta, aby vytvoril celý obraz.
Keďže NeRF dokáže vygenerovať 3D scénu za pár milisekúnd po prijatí správnych vstupov, je to doteraz najrýchlejší prístup NeRF.
NeRF funguje tak rýchlo, že je prakticky okamžitý, odtiaľ pochádza jeho názov. Ak sú štandardné 3D reprezentácie, ako sú polygonálne siete, vektorové obrázky, NeRF sú bitmapové obrázky: husto zachytávajú spôsob, akým svetlo vychádza z objektu alebo vnútri scény.
Okamžitý NeRF je nevyhnutný pre 3D, ako sú digitálne fotoaparáty a kompresia JPEG pre 2D fotografiu, čím sa výrazne zvyšuje rýchlosť, pohodlie a dosah 3D snímania a zdieľania.
Instant NeRF je možné použiť na výrobu avatarov alebo dokonca celých scenérií pre virtuálne svety.
Aby vzdal poctu začiatkom polaroidových fotografií, tím NVIDIA Research znovu vytvoril slávny záber Andyho Warhola, ktorý urobil okamžitú fotografiu a previedol ju na 3D scénu pomocou Instant NeRF.
Je to naozaj 1,000-krát rýchlejšie?
Vytvorenie 3D scény pred NeRF môže trvať hodiny, v závislosti od jej zložitosti a kvality.
Umelá inteligencia tento proces značne urýchlila, no správny tréning môže trvať aj hodiny. Pomocou metódy zvanej multi-resolution hash encoding, propagovanej spoločnosťou NVIDIA, Instant NeRF skracuje časy vykresľovania o faktor 1,000 XNUMX.
Na vytvorenie modelu bol použitý balík Tiny CUDA Neural Networks a NVIDIA CUDA Toolkit. Podľa NVIDIA, keďže ide o ľahkú neurónovú sieť, možno ju trénovať a používať na jedinom GPU NVIDIA, pričom karty NVIDIA Tensor Core pracujú pri najvyšších rýchlostiach.
Použite prípad
Samoriadiace automobily sú jednou z najvýznamnejších aplikácií tejto technológie. Tieto vozidlá vo veľkej miere fungujú tak, že si počas jazdy predstavujú svoje okolie.
Problémom dnešnej technológie je však to, že je nemotorná a trvá trochu príliš dlho.
Pri použití Instant NeRF je však všetko, čo samoriadiace auto potrebné na priblíženie sa/pochopenie veľkosti a tvaru skutočných objektov, je zachytiť statické fotografie, premeniť ich na 3D a následne použiť tieto informácie.
Ešte by mohlo byť iné využitie v metaverse resp videohra výrobné odvetvia.
Pretože Instant NeRF umožňuje rýchlo zostavovať avatarov alebo dokonca celé virtuálne svety, je to pravda.
Skoro málo 3D postavička bolo by potrebné modelovanie, pretože všetko, čo by ste museli urobiť, je spustiť neurónovú sieť a tá by vám vygenerovala postavu.
Okrem toho NVIDIA stále skúma využitie tejto technológie pre ďalšie aplikácie súvisiace so strojovým učením.
Môže sa napríklad použiť na presnejšie preklady jazykov ako predtým a na rozšírenie všeobecného účelu hlboké vzdelávanie algoritmy, ktoré sa teraz používajú pre širší rozsah úloh.
záver
Mnohé problémy s grafikou sa spoliehajú na dátové štruktúry špecifické pre úlohu, aby sa využila hladkosť alebo riedkosť problému.
Praktická alternatíva založená na učení, ktorú ponúka NVIDIA hašovacie kódovanie vo viacerých rozlíšeniach, sa automaticky sústreďuje na príslušné detaily bez ohľadu na pracovné zaťaženie.
Ak sa chcete dozvedieť viac o tom, ako veci fungujú vo vnútri, pozrite si oficiálne GitHub úložiska.
Nechaj odpoveď