Talaan ng nilalaman[Tago][Ipakita]
Uy, alam mo ba, na ang isang 3D na eksena ay maaaring malikha mula sa 2D data input sa ilang segundo gamit ang Instant NeRF neural rendering model ng NVIDIA, at ang mga larawan ng eksenang iyon ay maaaring i-render sa mga millisecond?
Posibleng mabilis na i-convert ang isang koleksyon ng mga still photographs sa isang digital 3D environment gamit ang technique na kilala bilang inverse rendering, na nagbibigay-daan sa AI na gayahin kung paano gumagana ang liwanag sa aktwal na mundo.
Ito ay isa sa mga unang modelo ng uri nito na maaaring pagsamahin ang ultra-mabilis na pagsasanay sa neural network at mabilis na pag-render, salamat sa isang pamamaraan na ginawa ng pangkat ng pananaliksik ng NVIDIA na kumukumpleto sa operasyon nang napakabilis – halos agad-agad.
Susuriin ng artikulong ito ang NeRF ng NVIDIA nang malalim, kasama ang bilis nito, mga kaso ng paggamit, at iba pang mga salik.
Kaya, ano ba NeRF?
Ang NeRF ay kumakatawan sa mga neural radiance field, na tumutukoy sa isang pamamaraan para sa paglikha ng mga natatanging view ng mga kumplikadong eksena sa pamamagitan ng pagpino sa isang pinagbabatayan ng tuluy-tuloy na volumetric na function ng eksena gamit ang isang maliit na bilang ng mga view ng input.
Kapag binigyan ng koleksyon ng mga 2D na larawan bilang input, gumagamit ang mga NeRF ng NVIDIA neural network upang kumatawan at bumuo ng mga 3D na eksena.
Ang isang maliit na bilang ng mga larawan mula sa iba't ibang mga anggulo sa paligid ng lugar ay kailangan para sa neural network, kasama ang lokasyon ng camera sa bawat frame.
Kung mas maagang kinunan ang mga larawang ito, mas maganda, lalo na sa mga eksenang may gumagalaw na aktor o bagay.
Ang 3D na eksenang nabuo ng AI ay mapupuno kung mayroong masyadong maraming galaw sa panahon ng pamamaraan ng pagkuha ng 2D na larawan.
Sa pamamagitan ng paghula sa kulay ng liwanag na nagmumula sa bawat direksyon mula sa anumang lokasyon sa 3D na kapaligiran, epektibong pinupunan ng NeRF ang mga puwang na natitira ng data na ito upang mabuo ang buong imahe.
Dahil ang NeRF ay maaaring makabuo ng isang 3D na eksena sa loob ng ilang millisecond pagkatapos matanggap ang mga wastong input, ito ang pinakamabilis na NeRF approach hanggang sa kasalukuyan.
Ang NeRF ay gumagana nang napakabilis na ito ay halos madalian, kaya ang pangalan nito. Kung ang mga karaniwang 3D na representasyon tulad ng mga polygonal mesh ay mga larawan ng vector, ang mga NeRF ay mga bitmap na larawan: siksikan nilang nakukuha ang paraan ng paglabas ng liwanag mula sa isang bagay o sa loob ng isang eksena.
Instant na NeRF ay mahalaga sa 3D dahil ang mga digital camera at JPEG compression ay naging sa 2D photography, na kapansin-pansing nagpapahusay sa bilis, kaginhawahan, at abot ng 3D na pagkuha at pagbabahagi.
Maaaring gamitin ang Instant NeRF upang makagawa ng mga avatar o kahit na buong tanawin para sa mga virtual na mundo.
Upang magbigay pugay sa mga unang araw ng mga larawan ng Polaroid, muling ginawa ng NVIDIA Research team ang isang sikat na shot ni Andy Warhol na kumukuha ng instant na larawan at ginawa itong 3D na eksena gamit ang Instant NeRF.
Ito ba ay talagang 1,000 beses na mas mabilis?
Ang isang 3D na eksena ay maaaring tumagal ng ilang oras bago magawa ang NeRF, depende sa pagiging kumplikado at kalidad nito.
Lubos na pinabilis ng AI ang proseso, ngunit maaari pa ring tumagal ng ilang oras upang maayos na magsanay. Gamit ang isang paraan na tinatawag na multi-resolution na hash encoding, na pinasimunuan ng NVIDIA, binabawasan ng Instant NeRF ang mga oras ng pag-render nang 1,000 factor.
Ginamit ang Tiny CUDA Neural Networks package at ang NVIDIA CUDA Toolkit para likhain ang modelo. Ayon sa NVIDIA, dahil ito ay isang magaan na neural network, maaari itong sanayin at magamit sa isang NVIDIA GPU, na may mga NVIDIA Tensor Core card na tumatakbo sa pinakamabilis na bilis.
Gamitin ang Kaso
Ang mga self-driving na sasakyan ay isa sa mga pinakamahalagang aplikasyon ng teknolohiyang ito. Ang mga sasakyang ito sa kalakhan ay nagpapatakbo sa pamamagitan ng pag-iisip sa kanilang paligid habang sila ay naglalakbay.
Gayunpaman, ang problema sa teknolohiya ngayon ay ito ay malamya at medyo tumatagal.
Gayunpaman, gamit ang Instant NeRF, ang kailangan lang para sa isang self-driving na kotse upang matantya/maunawaan ang laki at hugis ng mga bagay sa totoong mundo ay ang pagkuha ng mga still photographs, gawing 3D ang mga ito, at pagkatapos ay gamitin ang impormasyong iyon.
Maaaring may isa pang gamit sa metaverse o video game mga industriya ng produksyon.
Dahil pinapayagan ka ng Instant NeRF na bumuo ng mga avatar o kahit na buong virtual na mundo nang mabilis, totoo ito.
Halos maliit 3D na character kakailanganin ang pagmomodelo dahil ang kailangan mo lang gawin ay patakbuhin ang neural network, at bubuo ito ng karakter para sa iyo.
Bilang karagdagan, sinusuri pa rin ng NVIDIA ang paglalapat ng teknolohiyang ito para sa karagdagang mga application na nauugnay sa machine learning.
Halimbawa, maaari itong gamitin upang isalin ang mga wika nang mas tumpak kaysa sa dati at mapahusay ang pangkalahatang layunin malalim na pag-aaral ginagamit na ngayon ang mga algorithm para sa mas malawak na hanay ng mga gawain.
Konklusyon
Maraming mga isyu sa graphics ang umaasa sa mga istruktura ng data na tukoy sa gawain upang magamit ang kakinisan o sparsity ng problema.
Ang praktikal na alternatibong nakabatay sa pag-aaral na inaalok ng multi-resolution na hash encoding ng NVIDIA ay awtomatikong tumutuon sa mahalagang detalye, anuman ang workload.
Upang matuto nang higit pa tungkol sa kung paano gumagana ang mga bagay sa loob, tingnan ang opisyal GitHub imbakan.
Mag-iwan ng Sagot