Ang neural rendering usa ka nag-uswag nga teknik sa lawom nga pagkat-on nga nagtumong sa pagdugang sa klasikal nga pipeline sa mga graphic sa kompyuter nga adunay mga neural network.
Ang neural rendering algorithm manginahanglan usa ka set sa mga imahe nga nagrepresentar sa lainlaing mga anggulo sa parehas nga eksena. Kini nga mga imahen dayon ipakaon sa usa ka neural network aron makahimo usa ka modelo nga makapagawas sa mga bag-ong anggulo sa parehas nga talan-awon.
Ang kasanag sa likod sa neural rendering naa sa kung giunsa kini tukma nga makahimo pag-usab sa detalyado nga photorealistic nga mga talan-awon nga dili kinahanglan nga magsalig sa mga klasikal nga pamaagi nga mahimo’g labi ka kinahanglan sa pagkalkula.
Sa dili pa mag-dive kung giunsa paglihok ang neural rendering, hisgotan naton ang sukaranan sa klasikal nga paghubad.
Unsa ang Classical Rendering?
Atong sabton una ang kasagarang mga paagi nga gigamit sa klasikal nga paghubad.
Ang klasikal nga paghubad nagtumong sa hugpong sa mga teknik nga gigamit sa paghimo og 2D nga imahe sa usa ka three-dimensional nga talan-awon. Nailhan usab nga image synthesis, ang classical rendering naggamit ug lain-laing mga algorithm aron masundog kung giunsa ang kahayag nakig-interact sa lain-laing klase sa mga butang.
Pananglitan, ang paghimo sa usa ka solidong tisa magkinahanglan usa ka partikular nga hugpong sa mga algorithm aron mahibal-an ang posisyon sa anino o kung unsa ka maayo ang suga sa bisan unsang kilid sa dingding. Sa susama, ang mga butang nga nagpabanaag o nag-refract sa kahayag, sama sa salamin, sinaw nga butang, o tubig, magkinahanglan usab sa ilang kaugalingong mga teknik.
Sa klasikal nga paghubad, ang matag asset girepresentahan sa usa ka polygon mesh. Ang usa ka shader nga programa unya mogamit sa polygon isip input aron mahibal-an kung unsa ang hitsura sa butang nga gihatag sa piho nga suga ug anggulo.
Ang realistiko nga paghubad nanginahanglan ug labi pa nga gahum sa pag-compute tungod kay ang among mga kabtangan adunay milyon-milyon nga mga polygon nga magamit ingon input. Ang output nga hinimo sa kompyuter nga kasagaran sa mga blockbuster sa Hollywood kasagarang mokabat ug mga semana o bisan mga bulan aron ma-render ug mahimong mogasto ug milyon-milyong dolyares.
Ang paagi sa pagsubay sa ray labi ka mahal tungod kay ang matag pixel sa katapusan nga imahe nanginahanglan usa ka kalkulasyon sa agianan nga makuha sa kahayag gikan sa gigikanan sa kahayag hangtod sa butang ug sa camera.
Ang mga pag-uswag sa hardware naghimo sa mga graphic rendering nga labi ka dali nga magamit alang sa mga tiggamit. Pananglitan, daghan sa pinakabag-o mga dula sa video tugoti ang ray-traced nga mga epekto sama sa photo-realistic nga mga pagpamalandong ug mga anino basta ang ilang hardware anaa sa buluhaton.
Ang pinakabag-o nga mga GPU (graphic processing units) espesipikong gitukod aron matabangan ang CPU sa pagdumala sa labihan ka komplikado nga mga kalkulasyon nga gikinahanglan aron makahimo og photo-realistic nga mga graphic.
Ang Pagtaas sa Neural Rendering
Ang neural rendering naningkamot sa pagsulbad sa problema sa rendering sa lahi nga paagi. Imbis nga mogamit og mga algorithm aron masundog kung giunsa ang pag-interact sa kahayag sa mga butang, unsa kaha kung maghimo kita usa ka modelo nga nahibal-an kung giunsa ang pagtan-aw sa usa ka talan-awon gikan sa usa ka anggulo?
Mahimo nimong hunahunaon kini nga usa ka shortcut sa paghimo og mga photorealistic nga mga talan-awon. Uban sa neural rendering, dili na kinahanglan nga kalkulado kung giunsa ang pag-interact sa kahayag sa usa ka butang, kinahanglan lang namon ang igo nga datos sa pagbansay.
Kini nga pamaagi nagtugot sa mga tigdukiduki sa paghimo og taas nga kalidad nga paghubad sa komplikadong mga talan-awon nga dili kinahanglan nga magpasundayag
Unsa ang mga Natad sa Neural?
Sama sa nahisgotan na, kadaghanan sa mga 3D render naggamit og mga polygon meshes aron tipigan ang datos sa porma ug texture sa matag butang.
Bisan pa, ang mga natad sa neural nagkapopular ingon usa ka alternatibong pamaagi sa pagrepresentar sa tulo-ka-dimensional nga mga butang. Dili sama sa polygon meshes, ang mga neural field lahi ug padayon.
Unsa ang atong gipasabut kung giingon naton nga ang mga natad sa neural lahi?
Ang usa ka 2D nga output gikan sa usa ka neural field mahimo nang mabansay aron mahimong photorealistic pinaagi lamang sa pag-adjust sa gibug-aton sa neural network.
Gamit ang mga neural field, dili na nato kinahanglan nga i-simulate ang physics sa kahayag aron makahimo og talan-awon. Ang kahibalo kon sa unsang paagi ang kataposang paghubad pagasigahon karon gitipigan sa bug-os sa atong mga gibug-aton neural network.
Kini nagtugot kanamo sa paghimo og bag-ong mga imahe ug mga video nga medyo dali gikan sa pipila lang nga mga litrato o video footage.
Unsaon Pagbansay sa Neural Field?
Karon nga nahibal-an na naton ang mga sukaranan kung giunsa ang usa ka neural field molihok, atong tan-awon kung giunsa ang mga tigdukiduki makahimo sa pagbansay sa usa ka neural radiance field o NeRF.
Una, kinahanglan natong i-sample ang random coordinates sa usa ka eksena ug ipakaon kini sa neural network. Kini nga network makahimo sa paghimo sa gidaghanon sa uma.
Ang giprodyus nga gidaghanon sa uma gikonsiderar nga mga sampol gikan sa gitinguha nga reconstruction domain sa eksena nga gusto natong mugnaon.
Kinahanglan namong imapa ang pagtukod pag-usab sa aktuwal nga 2D nga mga hulagway. Ang usa ka algorithm unya makalkula ang sayup sa pagtukod pag-usab. Kini nga sayup maggiya sa neural network aron ma-optimize ang abilidad niini sa pagtukod pag-usab sa talan-awon.
Mga Aplikasyon sa Neural Rendering
Novel View Synthesis
Ang synthesis sa nobela nga pagtan-aw nagtumong sa tahas sa paghimo sa mga panan-aw sa camera gikan sa bag-ong mga anggulo gamit ang datos gikan sa limitado nga gidaghanon sa mga panan-aw.
Ang mga teknik sa neural rendering mosulay sa pagtag-an sa relatibong posisyon sa camera alang sa matag hulagway sa dataset ug ipakaon kana nga datos ngadto sa neural network.
Ang neural network unya maghimo usa ka 3D nga representasyon sa talan-awon diin ang matag punto sa 3D nga wanang adunay kauban nga kolor ug densidad.
Usa ka bag-ong pagpatuman sa mga NeRF sa Google Street View naggamit ug nobela nga pagtan-aw sa synthesis aron tugotan ang mga tiggamit sa pagsuhid sa mga lokasyon sa tinuod nga kalibutan nga daw nagkontrol sila sa usa ka camera nga nagkuha og video. Kini nagtugot sa mga turista sa pagsuhid sa mga destinasyon sa usa ka immersive nga paagi sa dili pa modesisyon sa pagbiyahe ngadto sa usa ka piho nga site.
Photo-realistiko nga mga avatar
Ang mga advanced nga teknik sa neural rendering mahimo usab nga maghatag dalan alang sa mas realistiko nga mga digital avatar. Mahimong gamiton kini nga mga avatar alang sa lainlaing mga tahas sama sa mga virtual nga katabang o serbisyo sa kustomer, o ingon usa ka paagi alang sa mga tiggamit nga isulud ang ilang pagkasama sa usa ka video game o simulate nga paghubad.
Pananglitan, usa ka papel nga gipatik niadtong Marso 2023 nagsugyot sa paggamit sa neural rendering techniques sa paghimo og photo-realistic avatar human sa pipila ka minuto nga video footage.
Panapos
Ang neural rendering usa ka kulbahinam nga natad sa pagtuon nga adunay potensyal nga mabag-o ang tibuuk nga industriya sa computer graphics.
Mahimong ipaubos sa teknolohiya ang babag sa pagsulod alang sa paghimo sa 3D nga mga kabtangan. Ang mga visual effects teams dili na kinahanglan nga maghulat ug mga adlaw aron ma-render ang pipila ka minuto nga photo-realistic nga mga graphic.
Ang paghiusa sa teknolohiya sa kasamtangan nga VR ug AR nga mga aplikasyon mahimo usab nga tugotan ang mga developers sa paghimo og mas immersive nga mga kasinatian.
Unsa sa imong hunahuna ang tinuod nga potensyal alang sa neural rendering?
Leave sa usa ka Reply