Neurale rendering is in opkommende technyk yn djip learen dy't as doel hat de klassike pipeline fan kompjûtergrafiken te fergrutsjen mei neurale netwurken.
In neural rendering-algoritme sil in set ôfbyldings fereaskje dy't ferskate hoeken fan deselde sêne fertsjintwurdigje. Dizze ôfbyldings sille dan yn in neuraal netwurk wurde fiede om in model te meitsjen dat nije hoeken fan deselde sêne kin útfiere.
De briljantheid efter neurele werjefte leit yn hoe't it detaillearre fotorealistyske sênes sekuer kin opnij oanmeitsje sûnder te fertrouwe op klassike metoaden dy't berekkenje mear easken kinne.
Foardat wy dûke yn hoe't neurale rendering wurket, litte wy de basis fan klassike rendering besjen.
Wat is klassike werjefte?
Litte wy earst de typyske metoaden begripe dy't brûkt wurde yn klassike rendering.
Klassike rendering ferwiist nei de set techniken dy't brûkt wurde om in 2D-ôfbylding fan in trijediminsjonale sêne te meitsjen. Ek bekend as byldsynteze, brûkt klassike rendering ferskate algoritmen om te simulearjen hoe't ljocht ynteraksje mei ferskate soarten objekten.
Bygelyks, it werjaan fan in solide bakstien sil in bepaalde set algoritmen fereaskje om de posysje fan it skaad te bepalen of hoe goed ferljochte beide kanten fan 'e muorre sille wêze. Op deselde manier sille objekten dy't ljocht reflektearje of brekke, lykas in spegel, in glânzjend foarwerp, of in lichem fan wetter, ek har eigen techniken fereaskje.
Yn klassike rendering wurdt elke asset fertsjintwurdige mei in polygonmesh. In shaderprogramma sil dan de polygoan brûke as ynfier om te bepalen hoe't it objekt derút sil sjen, jûn de oantsjutte ferljochting en hoeke.
Realistyske rendering sil folle mear berekkeningskrêft fereaskje, om't ús aktiva úteinlik miljoenen polygonen hawwe om te brûken as ynfier. De komputer-generearre útfier dy't gewoan is yn Hollywood-blockbusters duorret gewoanwei wiken of sels moannen om te werjaan en kin miljoenen dollars kostje.
De oanpak fan ray tracing is benammen kostber, om't elke piksel yn 'e definitive ôfbylding in berekkening fereasket fan it paad dat ljocht nimt fan 'e ljochtboarne nei it objekt en nei de kamera.
Foarútgongen yn hardware hawwe grafyske werjefte folle tagonkliker makke foar brûkers. Bygelyks, in protte fan 'e lêste Fideo spultsjes tastean ray-traced effekten lykas foto-realistyske refleksjes en skaden sa lang as harren hardware is oan 'e taak.
De lêste GPU's (grafyske ferwurkings-ienheden) binne spesifyk boud om de CPU te helpen de heul komplekse berekkeningen te behanneljen dy't nedich binne om fotorealistyske grafiken te meitsjen.
De opkomst fan neurale rendering
Neurale rendering besiket it renderingsprobleem op in oare manier oan te pakken. Ynstee fan algoritmen te brûken om te simulearjen hoe't ljocht ynteraksje mei objekten, wat as wy in model meitsje dat leart hoe't in sêne út in bepaalde hoeke moat sjen?
Jo kinne it tinke as in fluchtoets foar it meitsjen fan fotorealistyske sênes. Mei neurale rendering hoege wy net te berekkenjen hoe't ljocht ynteraksje mei in objekt, wy hawwe gewoan genôch trainingsgegevens nedich.
Dizze oanpak lit ûndersikers heechweardige renderings meitsje fan komplekse sênes sûnder hoege te prestearjen
Wat binne neurale fjilden?
Lykas earder neamd, brûke de measte 3D-renderings polygonmeshes om gegevens te bewarjen oer de foarm en tekstuer fan elk objekt.
Neurale fjilden winne lykwols populariteit as in alternative metoade foar it fertsjintwurdigjen fan trijediminsjonale objekten. Oars as polygonmeshes binne neuronale fjilden differinsierber en kontinu.
Wat bedoele wy as wy sizze dat neuronale fjilden differinsjearre binne?
In 2D-útfier fan in neuronaal fjild kin no wurde trainearre om fotorealistysk te wurden troch gewoan de gewichten fan it neurale netwurk oan te passen.
Mei help fan neurale fjilden hoege wy de natuerkunde fan ljocht net mear te simulearjen om in sêne te werjaan. De kennis fan hoe't de definitive rendering wurdt ferljochte wurdt no ymplisyt bewarre binnen de gewichten fan ús neuronale netwurk.
Hjirmei kinne wy relatyf fluch nije ôfbyldings en fideo's meitsje fan mar in hantsjefol foto's of fideomateriaal.
Hoe kinne jo in neuraal fjild traine?
No't wy de basis witte fan hoe't in neuraal fjild wurket, litte wy ris sjen hoe't ûndersikers in neural útstrielingfjild kinne traine as NeRF.
Earst moatte wy de willekeurige koördinaten fan in sêne probearje en se yn in neural netwurk fiede. Dit netwurk sil dan fjildhoeveelheden produsearje kinne.
De produsearre fjild hoemannichten wurde beskôge samples út de winske rekonstruksje domein fan it toaniel wy wolle meitsje.
Wy moatte dan de rekonstruksje yn kaart bringe nei werklike 2D-ôfbyldings. In algoritme sil dan de rekonstruksjeflater berekkenje. Dizze flater sil it neurale netwurk liede om syn fermogen te optimalisearjen om it toaniel te rekonstruearjen.
Applikaasjes fan neurale rendering
Novel View Synthesis
Novel view synteze ferwiist nei de taak fan it meitsjen fan kamera perspektiven út nije hoeken mei help fan gegevens út in beheind oantal perspektiven.
Neurale renderingstechniken besykje de relative posysje fan 'e kamera te rieden foar elke ôfbylding yn' e dataset en feed dy gegevens yn in neural netwurk.
It neurale netwurk sil dan in 3D-representaasje meitsje fan it toaniel wêr't elk punt yn 'e 3D-romte in assosjearre kleur en tichtens hat.
In nije ymplemintaasje fan NeRFs yn Google Street View brûkt synteze fan nije werjeften om brûkers lokaasjes yn 'e echte wrâld te ferkennen as soene se in kamera kontrolearje dy't in fideo nimt. Hjirmei kinne toeristen bestimmingen ferkenne op in immersive manier foardat se beslute om nei in spesifike side te reizgjen.
Fotorealistyske avatars
Avansearre techniken yn neurale rendering kinne ek it paad baan foar mear realistyske digitale avatars. Dizze avatars kinne dan brûkt wurde foar ferskate rollen lykas firtuele assistinten of klanttsjinst, of as in manier foar brûkers om har likenis yn te foegjen yn in fideospultsje of simulearre render.
Bygelyks in a papier publisearre yn maart 2023 suggerearret it brûken fan neuronale renderingstechniken om in fotorealistyske avatar te meitsjen nei in pear minuten fideomateriaal.
Konklúzje
Neurale rendering is in spannend fjild fan stúdzje dat it potensjeel hat om de heule kompjûtergrafyske yndustry te feroarjen.
De technology koe de barriêre fan yngong ferleegje foar it meitsjen fan 3D-aktiva. Teams foar fisuele effekten hoege miskien net langer dagen te wachtsjen om in pear minuten fotorealistyske grafiken te werjaan.
It kombinearjen fan de technology mei besteande VR- en AR-applikaasjes kin ûntwikkelders ek tastean om mear immersive ûnderfiningen te meitsjen.
Wat tinke jo dat it wiere potinsjeel is foar neurale rendering?
Leave a Reply