Taugaflutningur er ný tækni í djúpnámi sem miðar að því að auka klassíska leiðslu tölvugrafík með tauganetum.
Taugaútgáfu reiknirit mun krefjast setts af myndum sem tákna mismunandi sjónarhorn á sama senu. Þessar myndir verða síðan færðar inn í taugakerfi til að búa til líkan sem getur gefið út ný sjónarhorn af sömu senu.
Snilldin á bak við taugaútgáfu felst í því hvernig hún getur endurskapað nákvæmar ljósraunsæjar senur á nákvæman hátt án þess að þurfa að reiða sig á klassískar aðferðir sem kunna að vera krefjandi í reikningnum.
Áður en kafað er inn í hvernig taugaflutningur virkar skulum við fara yfir grunnatriði klassískrar flutnings.
Hvað er klassísk flutningur?
Við skulum fyrst skilja dæmigerðar aðferðir sem notaðar eru í klassískri flutningi.
Klassísk flutningur vísar til aðferða sem notuð eru til að búa til tvívíddarmynd af þrívíddarsenu. Einnig þekkt sem myndmyndun, klassísk flutningur notar ýmis reiknirit til að líkja eftir því hvernig ljós hefur samskipti við mismunandi gerðir af hlutum.
Til dæmis mun það krefjast ákveðins setts reiknirita til að teikna upp traustan múrstein til að ákvarða staðsetningu skuggans eða hversu vel upplýst hvor hlið veggsins verður. Á sama hátt munu hlutir sem endurkasta eða brjóta ljós, eins og spegill, glansandi hlutur eða vatnshlot, einnig þurfa eigin tækni.
Í klassískri flutningi er hver eign táknuð með marghyrningsneti. Skyggingarforrit mun síðan nota marghyrninginn sem inntak til að ákvarða hvernig hluturinn mun líta út miðað við tilgreinda lýsingu og horn.
Raunhæf flutningur mun krefjast miklu meiri reiknikrafts þar sem eignir okkar hafa á endanum milljónir marghyrninga til að nota sem inntak. Tölvugerð framleiðsla sem er algeng í stórmyndum í Hollywood tekur venjulega vikur eða jafnvel mánuði að skila og getur kostað milljónir dollara.
Geislarekningaraðferðin er sérstaklega kostnaðarsöm vegna þess að hver pixel í lokamyndinni krefst útreiknings á leiðinni sem ljósið tekur frá ljósgjafanum að hlutnum og til myndavélarinnar.
Framfarir í vélbúnaði hafa gert grafíkgerð mun aðgengilegri fyrir notendur. Til dæmis margt af því nýjasta vídeó leikur leyfa geislasektum áhrifum eins og ljósraunsæjar endurspeglun og skugga svo framarlega sem vélbúnaður þeirra er við hæfi.
Nýjustu GPU (grafískar vinnslueiningar) eru smíðaðar sérstaklega til að hjálpa örgjörvanum að takast á við mjög flókna útreikninga sem þarf til að gera ljósmyndraunhæfa grafík.
The Rise of Neural Rendering
Taugaflutningur reynir að takast á við flutningsvandann á annan hátt. Í stað þess að nota reiknirit til að líkja eftir því hvernig ljós hefur samskipti við hluti, hvað ef við bjuggum til líkan sem lærir hvernig vettvangur ætti að líta út frá ákveðnu sjónarhorni?
Þú getur hugsað um það sem flýtileið til að búa til ljósmyndraunverulegar senur. Með taugaflutningi þurfum við ekki að reikna út hvernig ljós hefur samskipti við hlut, við þurfum bara næg þjálfunargögn.
Þessi nálgun gerir rannsakendum kleift að búa til hágæða myndir af flóknum senum án þess að þurfa að framkvæma
Hvað eru taugasvið?
Eins og áður hefur komið fram nota flestar þrívíddarmyndir marghyrningsnet til að geyma gögn um lögun og áferð hvers hlutar.
Hins vegar eru taugasvið að ná vinsældum sem önnur aðferð til að tákna þrívídda hluti. Ólíkt marghyrninga möskva eru taugasvið aðgreinanleg og samfelld.
Hvað er átt við þegar við segjum að taugasvið séu aðgreinanleg?
Nú er hægt að þjálfa 2D úttak frá taugasviði til að verða ljósraunsæ með því einfaldlega að stilla þyngd tauganetsins.
Með því að nota taugasvið þurfum við ekki lengur að líkja eftir eðlisfræði ljóssins til að gera atriði. Þekkingin á því hvernig endanleg mynd verður kveikt er nú geymd óbeint inni í lóðum okkar tauga net.
Þetta gerir okkur kleift að búa til nýjar myndir og myndbönd tiltölulega fljótt úr örfáum myndum eða myndbandsupptökum.
Hvernig á að þjálfa taugasvið?
Nú þegar við þekkjum grunnatriðin í því hvernig taugasvið virkar, skulum við skoða hvernig vísindamenn geta þjálfað taugageislunarsvið eða NeRF.
Fyrst þurfum við að taka sýnishorn af handahófskenndum hnitum senu og gefa þeim inn í taugakerfi. Þetta net mun þá geta framleitt akurmagn.
Framleitt sviðsmagn er talið sýnishorn úr æskilegu endurbyggingarsviði vettvangsins sem við viljum búa til.
Við þurfum þá að kortleggja endurgerðina á raunverulegar 2D myndir. Reiknirit mun síðan reikna út endurbyggingarvilluna. Þessi villa mun leiðbeina tauganetinu til að hámarka getu þess til að endurbyggja vettvanginn.
Umsóknir um taugaútgáfu
Skáldsaga Synthesis
Ný myndgreining vísar til þess verkefnis að búa til myndavélarsjónarhorn frá nýjum sjónarhornum með því að nota gögn frá takmörkuðum fjölda sjónarhorna.
Taugaflutningsaðferðir reyna að giska á hlutfallslega staðsetningu myndavélarinnar fyrir hverja mynd í gagnasafninu og fæða þau gögn inn í taugakerfi.
Tauganetið mun síðan búa til þrívíddarmynd af vettvangi þar sem hver punktur í þrívíddarrýminu hefur tilheyrandi lit og þéttleika.
Ný útfærsla á NeRFs í Google Street View notar nýja myndgreiningu til að leyfa notendum að kanna raunverulegar staðsetningar eins og þeir væru að stjórna myndavél sem tekur myndband. Þetta gerir ferðamönnum kleift að skoða áfangastaði á yfirgripsmikinn hátt áður en þeir ákveða að ferðast á tiltekna stað.
Ljósraunsæir avatarar
Háþróuð tækni í taugaflutningi getur einnig rutt brautina fyrir raunsærri stafræna avatar. Þessar avatarar geta síðan verið notaðir í ýmis hlutverk eins og sýndaraðstoðarmenn eða þjónustu við viðskiptavini, eða sem leið fyrir notendur til að setja inn líkingu sína í vídeó leikur eða herma render.
Til dæmis, a pappír birt í mars 2023 bendir til þess að nota taugaflutningstækni til að búa til myndraunsæjan avatar eftir nokkrar mínútur af myndbandsupptökum.
Niðurstaða
Taugaflutningur er spennandi fræðasvið sem hefur tilhneigingu til að breyta öllum tölvugrafíkiðnaðinum.
Tæknin gæti lækkað aðgangshindrun fyrir sköpun þrívíddareigna. Teymi fyrir sjónbrellur þurfa kannski ekki lengur að bíða í marga daga til að skila nokkrum mínútum af raunsærri grafík.
Að sameina tæknina við núverandi VR og AR forrit gæti einnig gert forriturum kleift að búa til yfirgripsmeiri upplifun.
Hver heldur þú að sé hinn raunverulegi möguleiki á taugaútgáfu?
Skildu eftir skilaboð