Kaundan[Itago][Ipakita]
Uy, nahibal-an ba nimo, nga ang usa ka 3D nga talan-awon mahimong mabuhat gikan sa 2D data input sa mga segundo gamit ang Instant NeRF neural rendering nga modelo sa NVIDIA, ug ang mga litrato sa kana nga eksena mahimong ma-render sa mga millisecond?
Posible nga dali nga mabag-o ang usa ka koleksyon sa mga litrato nga wala’y lihok sa usa ka digital 3D nga palibot gamit ang teknik nga nailhan nga inverse rendering, nga nagtugot sa AI nga masundog kung giunsa ang kahayag molihok sa tinuud nga kalibutan.
Usa kini sa unang mga modelo sa matang niini nga makakombinar sa ultra-paspas nga neural network nga pagbansay ug dali nga paghubad, salamat sa usa ka teknik nga gimugna sa research team sa NVIDIA nga dali kaayong nakakompleto sa operasyon – halos diha-diha dayon.
Kini nga artikulo magsusi sa NeRF sa NVIDIA sa lawom, lakip ang katulin niini, mga kaso sa paggamit, ug uban pang mga hinungdan.
Mao na, unsa man NeRF?
Ang NeRF nagbarug alang sa neural radiance fields, nga nagtumong sa usa ka teknik alang sa paghimo sa talagsaon nga mga pagtan-aw sa mga komplikado nga mga talan-awon pinaagi sa pagpino sa usa ka nagpahiping padayon nga volumetric nga eksena nga function gamit ang gamay nga gidaghanon sa mga pagtan-aw sa input.
Kung gihatagan usa ka koleksyon sa mga litrato sa 2D ingon input, gigamit ang mga NeRF sa NVIDIA neural networks sa pagrepresentar ug pagmugna og 3D nga mga talan-awon.
Usa ka gamay nga gidaghanon sa mga litrato gikan sa lain-laing mga anggulo sa palibot sa dapit gikinahanglan alang sa neural network, kauban ang lokasyon sa camera sa matag frame.
Ang mas sayo nga pagkuha niini nga mga hulagway, mas maayo, ilabi na sa mga talan-awon nga adunay naglihok nga mga aktor o mga butang.
Ang AI-generated nga 3D nga talan-awon mabuak kung adunay sobra nga paglihok sa panahon sa 2D nga pamaagi sa pagkuha sa litrato.
Pinaagi sa pagtagna sa kolor sa kahayag nga mogawas sa matag direksyon gikan sa bisan unsang lokasyon sa 3D nga palibot, epektibo nga gipuno sa NeRF ang mga kal-ang nga nahabilin niini nga datos aron matukod ang tibuuk nga imahe.
Tungod kay ang NeRF makahimo og usa ka 3D nga talan-awon sa usa ka magtiayon nga milliseconds human makadawat sa tukma nga mga input, kini ang pinakadali nga NeRF nga pamaagi sa pagkakaron.
Ang NeRF dali kaayo nga nagtrabaho nga kini hapit dayon, busa ang ngalan niini. Kung ang mga standard nga representasyon sa 3D sama sa polygonal meshes mga vector picture, ang mga NeRF kay bitmap nga mga hulagway: sila nagdasok sa pagkuha sa paagi sa kahayag gikan sa usa ka butang o sulod sa usa ka talan-awon.
Instant nga NeRF hinungdanon sa 3D tungod kay ang mga digital camera ug JPEG compression nahimo na sa 2D nga litrato, nga makapausbaw sa katulin, kasayon, ug pagkab-ot sa 3D nga pagdakop ug pagpaambit.
Ang Instant NeRF mahimong magamit sa paghimo og mga avatar o bisan sa tibuok nga mga talan-awon alang sa mga virtual nga kalibutan.
Aron paghatag ug pagtahud sa unang mga adlaw sa mga litrato sa Polaroid, ang NVIDIA Research team naghimo pag-usab sa usa ka sikat nga shot ni Andy Warhol nga nagkuha og instant nga litrato ug gi-convert kini ngadto sa 3D nga eksena gamit ang Instant NeRF.
Tinuod ba kini nga 1,000 ka beses nga mas paspas?
Ang usa ka 3D nga talan-awon mahimong molungtad ug mga oras sa paghimo sa wala pa ang NeRF, depende sa pagkakuti ug kalidad niini.
Gipaspasan pag-ayo sa AI ang proseso, apan mahimo pa nga daghang oras aron mabansay sa husto. Gamit ang pamaagi nga gitawag og multi-resolution hash encoding, nga gipayunir sa NVIDIA, ang Instant NeRF nagpamenos sa mga oras sa pag-render sa usa ka factor nga 1,000.
Ang Tiny CUDA Neural Networks nga pakete ug ang NVIDIA CUDA Toolkit gigamit sa paghimo sa modelo. Sumala sa NVIDIA, tungod kay kini usa ka gaan nga neural network, mahimo kini mabansay ug magamit sa usa ka NVIDIA GPU, nga adunay mga NVIDIA Tensor Core nga mga kard nga naglihok sa labing kadali nga tulin.
Gamita ang Kaso
Ang mga awto nga nagmaneho sa kaugalingon usa sa labing hinungdanon nga aplikasyon sa kini nga teknolohiya. Kini nga mga sakyanan kasagaran naglihok pinaagi sa paghanduraw sa ilang palibot samtang sila naglakaw.
Apan, ang problema sa teknolohiya karon mao nga kini clumsy ug dugay kaayo.
Bisan pa, gamit ang Instant NeRF, ang tanan nga gikinahanglan alang sa usa ka nagmaneho sa kaugalingon nga awto aron mabanabana / masabtan ang gidak-on ug porma sa mga butang nga tinuod nga kalibutan mao ang pagkuha sa mga litrato, himuon kini nga 3D, ug dayon gamiton kana nga kasayuran.
Mahimong adunay lain nga gamit sa metaverse o video game mga industriya sa produksiyon.
Tungod kay ang Instant NeRF nagtugot kanimo sa paghimo og mga avatar o bisan sa tibuok nga virtual nga kalibutan sa madali, kini tinuod.
Hapit gamay 3D nga kinaiya gikinahanglan ang pagmodelo tungod kay ang kinahanglan nimong buhaton mao ang pagpadagan sa neural network, ug kini makamugna og karakter alang kanimo.
Dugang pa, ang NVIDIA nagsuhid gihapon sa paggamit niini nga teknolohiya alang sa dugang nga machine learning-related nga mga aplikasyon.
Pananglitan, kini mahimong gamiton sa paghubad sa mga pinulongan nga mas tukma kaysa kaniadto ug pagpalambo sa kinatibuk-ang katuyoan lawom nga pagkat-on mga algorithm nga gigamit na karon alang sa mas lapad nga mga buluhaton.
Panapos
Daghang mga isyu sa graphic ang nagsalig sa mga istruktura sa datos nga espesipiko sa buluhaton aron magamit ang kahapsay o kahapsay sa problema.
Ang praktikal nga alternatibo nga nakabase sa pagkat-on nga gitanyag sa multi-resolution hash encoding sa NVIDIA awtomatik nga nagkonsentrar sa importanteng detalye, bisan unsa pa ang workload.
Aron mahibal-an ang dugang kung giunsa ang paglihok sa sulod, tan-awa ang opisyal GitHub repository.
Leave sa usa ka Reply