Hej, věděli jste, že 3D scéna může být vytvořena z 2D datových vstupů během několika sekund pomocí NVIDIA Instant NeRF neuronového renderovacího modelu a fotografie této scény mohou být vykresleny během milisekund?
Je možné rychle převést sbírku statických fotografií do digitálního 3D prostředí pomocí techniky známé jako inverzní vykreslování, která umožňuje umělé inteligenci napodobovat, jak světlo funguje ve skutečném světě.
Je to jeden z prvních modelů svého druhu, který dokáže kombinovat ultrarychlé trénování neuronové sítě a rychlé vykreslování, a to díky technice, kterou výzkumný tým NVIDIA vymyslel a která dokončí operaci neuvěřitelně rychle – téměř okamžitě.
Tento článek podrobně prozkoumá NeRF společnosti NVIDIA, včetně její rychlosti, případů použití a dalších faktorů.
Takže co je NeRF?
NeRF je zkratka pro pole neuronového záření, což se vztahuje k technice vytváření jedinečných pohledů na komplikované scény upřesněním základní funkce spojité objemové scény pomocí malého počtu vstupních pohledů.
Když je jako vstup poskytnuta sbírka 2D fotografií, využívají NVIDIA NeRF neuronové sítě reprezentovat a vytvářet 3D scény.
K tomu je potřeba malý počet fotografií z různých úhlů okolí nervová síť, spolu s umístěním kamery v každém snímku.
Čím dříve jsou tyto snímky pořízeny, tím lépe, zejména ve scénách s pohyblivými herci nebo předměty.
3D scéna vygenerovaná umělou inteligencí bude rozmazaná, pokud je během procesu snímání 2D obrazu příliš mnoho pohybu.
Předpovídáním barvy světla vyzařovaného v každém směru z libovolného místa ve 3D prostředí NeRF efektivně vyplní mezery zanechané těmito daty, aby vytvořil celý obraz.
Protože NeRF dokáže vygenerovat 3D scénu během několika milisekund po obdržení správných vstupů, je to dosud nejrychlejší přístup NeRF.
NeRF funguje tak rychle, že je prakticky okamžitý, odtud jeho název. Jestliže standardní 3D reprezentace, jako jsou polygonální sítě, jsou vektorové obrázky, NeRF jsou bitmapové obrázky: hustě zachycují způsob, jakým světlo vyzařuje z objektu nebo uvnitř scény.
Okamžitý NeRF je nezbytný pro 3D, stejně jako digitální fotoaparáty a komprese JPEG pro 2D fotografii, což výrazně zvyšuje rychlost, pohodlí a dosah 3D snímání a sdílení.
Instant NeRF lze použít k výrobě avatarů nebo dokonce celých scenérií pro virtuální světy.
Aby tým NVIDIA Research vzdal poctu počátkům fotek z Polaroidu, znovu vytvořil slavný snímek Andyho Warhola, který pořídil okamžitou fotografii a převedl ji do 3D scény pomocí Instant NeRF.
Je to opravdu 1,000krát rychlejší?
Vytvoření 3D scény před NeRF může trvat hodiny, v závislosti na její složitosti a kvalitě.
Umělá inteligence tento proces značně urychlila, ale pořádné školení může trvat hodiny. Pomocí metody zvané multi-resolution hash encoding, kterou vyvinula společnost NVIDIA, Instant NeRF zkracuje dobu vykreslování o faktor 1,000 XNUMX.
K vytvoření modelu byl použit balíček Tiny CUDA Neural Networks a sada nástrojů NVIDIA CUDA Toolkit. Podle společnosti NVIDIA, protože se jedná o lehkou neuronovou síť, lze ji trénovat a používat na jediném GPU NVIDIA s kartami NVIDIA Tensor Core pracujícími při nejvyšší rychlosti.
Použijte pouzdro
Samořídící automobily jsou jednou z nejvýznamnějších aplikací této technologie. Tato vozidla z velké části fungují tak, že si při jízdě představují své okolí.
Problémem dnešní technologie je však to, že je neohrabaná a trvá trochu moc dlouho.
Při použití Instant NeRF však vše, co samořídící auto potřebuje k přiblížení/pochopení velikosti a tvaru objektů v reálném světě, je zachytit statické fotografie, převést je do 3D a poté tyto informace použít.
Ještě by mohlo být další využití v metaverse resp videohra výrobní odvětví.
Protože Instant NeRF umožňuje rychle vytvářet avatary nebo dokonce celé virtuální světy, je to pravda.
Skoro málo 3D znak bylo by vyžadováno modelování, protože vše, co byste museli udělat, je spustit neuronovou síť a ta by vám vygenerovala postavu.
Kromě toho NVIDIA stále zkoumá použití této technologie pro další aplikace související se strojovým učením.
Může být například použit k přesnějšímu překladu jazyků než dříve a ke zlepšení obecného účelu hluboké učení algoritmy, které se nyní používají pro širší škálu úloh.
Proč investovat do čističky vzduchu?
Mnoho problémů s grafikou závisí na datových strukturách specifických pro úlohu, aby se využilo hladkosti nebo řídkosti problému.
Praktická alternativa založená na učení, kterou nabízí NVIDIA hašovací kódování ve více rozlišeních, se automaticky soustředí na příslušné detaily bez ohledu na pracovní zátěž.
Chcete-li se dozvědět více o tom, jak to uvnitř funguje, podívejte se na úředníka GitHub úložiště.
Napsat komentář