Përmbajtje[Fshih][Shfaqje]
Hej, a e dini se një skenë 3D mund të krijohet nga hyrjet e të dhënave 2D në sekonda me modelin e interpretimit nervor Instant NeRF të NVIDIA, dhe fotografitë e asaj skene mund të jepen në milisekonda?
Është e mundur të konvertohet shpejt një koleksion fotografish të palëvizshme në një mjedis dixhital 3D duke përdorur teknikën e njohur si renderim invers, i cili i mundëson AI të imitojë se si funksionon drita në botën aktuale.
Është një nga modelet e para të këtij lloji që mund të kombinojë trajnimin e rrjetit nervor ultra të shpejtë dhe interpretimin e shpejtë, falë një teknike që ekipi hulumtues i NVIDIA shpiku që e përfundon operacionin jashtëzakonisht shpejt - pothuajse menjëherë.
Ky artikull do të shqyrtojë në thellësi NeRF të NVIDIA, duke përfshirë shpejtësinë, rastet e përdorimit dhe faktorë të tjerë.
Pra, çfarë është NeRF?
NeRF qëndron për fushat e rrezatimit nervor, që i referohet një teknike për krijimin e pamjeve unike të skenave të ndërlikuara duke rafinuar një funksion të vazhdueshëm vëllimor të skenës duke përdorur një numër të vogël pamjesh hyrëse.
Kur jepet një koleksion fotografish 2D si hyrje, NeRF-të e NVIDIA-s përdorin rrjetet nervore për të përfaqësuar dhe gjeneruar skena 3D.
Për këtë nevojiten një numër i vogël fotografish nga këndvështrime të ndryshme rreth zonës Rrjeti nervoz, së bashku me vendndodhjen e kamerës në çdo kornizë.
Sa më shpejt të bëhen këto foto, aq më mirë, veçanërisht në skenat me aktorë ose objekte në lëvizje.
Skena 3D e krijuar nga AI do të njolloset nëse ka shumë lëvizje gjatë procedurës së regjistrimit të figurës 2D.
Duke parashikuar ngjyrën e dritës që buron në çdo drejtim nga çdo vendndodhje në mjedisin 3D, NeRF në mënyrë efektive plotëson boshllëqet e lëna nga këto të dhëna për të ndërtuar të gjithë imazhin.
Meqenëse NeRF mund të gjenerojë një skenë 3D në disa milisekonda pas marrjes së hyrjeve të duhura, është qasja më e shpejtë e NeRF deri më sot.
NeRF funksionon aq shpejt sa është praktikisht i menjëhershëm, prandaj emri i tij. Nëse paraqitjet standarde 3D si rrjetat poligonale janë fotografi vektoriale, NeRF-të janë imazhe bitmap: ato kapin në mënyrë të dendur mënyrën se si drita buron nga një objekt ose brenda një skene.
NeRF e menjëhershme është thelbësore për 3D pasi kamerat dixhitale dhe kompresimi JPEG kanë qenë për fotografinë 2D, duke rritur në mënyrë dramatike shpejtësinë, komoditetin dhe shtrirjen e kapjes dhe ndarjes 3D.
Instant NeRF mund të përdoret për të prodhuar avatarë apo edhe pamje të tëra për botët virtuale.
Për t'i bërë homazh ditëve të para të fotografive të Polaroid, ekipi i Kërkimeve NVIDIA rikrijoi një foto të famshme të Andy Warhol duke bërë një foto të menjëhershme dhe e konvertoi atë në një skenë 3D duke përdorur Instant NeRF.
A është vërtet 1,000 herë më shpejt?
Një skenë 3D mund të duhen orë për t'u krijuar përpara NeRF, në varësi të ndërlikimit dhe cilësisë së saj.
Inteligjenca artificiale e përshpejtoi shumë procesin, por mund të duhen ende orë të tëra për t'u trajnuar siç duhet. Duke përdorur një metodë të quajtur kodim hash me shumë rezolucion, të krijuar nga NVIDIA, Instant NeRF redukton kohën e renderimit me një faktor prej 1,000.
Për krijimin e modelit u përdorën paketa Tiny CUDA Neural Networks dhe NVIDIA CUDA Toolkit. Sipas NVIDIA, për shkak se është një rrjet nervor i lehtë, ai mund të trajnohet dhe përdoret në një GPU të vetme NVIDIA, me karta NVIDIA Tensor Core që funksionojnë me shpejtësitë më të shpejta.
Përdoreni rastin
Makinat që drejtojnë vetë janë një nga aplikimet më domethënëse të kësaj teknologjie. Këto automjete kryesisht funksionojnë duke imagjinuar rrethinën e tyre ndërsa shkojnë.
Megjithatë, problemi me teknologjinë e sotme është se është e ngathët dhe kërkon pak kohë.
Megjithatë, duke përdorur Instant NeRF, gjithçka që kërkohet për një makinë vetë-drejtuese për të përafruar/kuptuar madhësinë dhe formën e objekteve të botës reale është të kapni fotografi të palëvizshme, t'i ktheni ato në 3D dhe më pas ta përdorni atë informacion.
Mund të ketë ende një përdorim tjetër në metaverse ose lojë video industritë e prodhimit.
Për shkak se Instant NeRF ju lejon të ndërtoni shpejt avatarë apo edhe botë të tëra virtuale, kjo është e vërtetë.
Pothuajse pak Karakter 3D modelimi do të ishte i nevojshëm sepse gjithçka që duhet të bëni është të ekzekutoni rrjetin nervor dhe ai do të gjeneronte një karakter për ju.
Për më tepër, NVIDIA është ende duke eksploruar aplikimin e kësaj teknologjie për aplikacione shtesë të lidhura me mësimin e makinerive.
Për shembull, mund të përdoret për të përkthyer gjuhët më saktë se më parë dhe për të përmirësuar qëllimin e përgjithshëm të mësuarit e thellë algoritme tani në përdorim për një gamë më të gjerë detyrash.
Përfundim
Shumë çështje grafike mbështeten në strukturat e të dhënave specifike për detyrën për të shfrytëzuar butësinë ose rrallësinë e problemit.
Alternativa praktike e bazuar në mësimin e ofruar nga kodimi hash me shumë rezolucion i NVIDIA përqendrohet automatikisht në detajet përkatëse, pavarësisht nga ngarkesa e punës.
Për të mësuar më shumë se si funksionojnë gjërat brenda, shikoni zyrtarin GitHub depo.
Lini një Përgjigju