Neurale weergawe is 'n opkomende tegniek in diep leer wat daarop gemik is om die klassieke pyplyn van rekenaargrafika met neurale netwerke aan te vul.
'n Neurale weergawe-algoritme sal 'n stel beelde vereis wat verskillende hoeke van dieselfde toneel voorstel. Hierdie beelde sal dan in 'n neurale netwerk ingevoer word om 'n model te skep wat nuwe hoeke van dieselfde toneel kan uitvoer.
Die briljantheid agter neurale weergawe lê in hoe dit gedetailleerde fotorealistiese tonele akkuraat kan herskep sonder om op klassieke metodes staat te maak wat rekenkundig meer veeleisend kan wees.
Voordat ons ingaan op hoe neurale weergawe werk, kom ons gaan oor die basiese beginsels van klassieke weergawe.
Wat is klassieke weergawe?
Kom ons verstaan eers die tipiese metodes wat in klassieke weergawe gebruik word.
Klassieke weergawe verwys na die stel tegnieke wat gebruik word om 'n 2D-beeld van 'n driedimensionele toneel te skep. Ook bekend as beeldsintese, klassieke weergawe gebruik verskeie algoritmes om te simuleer hoe lig met verskillende soorte voorwerpe in wisselwerking tree.
Byvoorbeeld, om 'n soliede baksteen weer te gee, sal 'n spesifieke stel algoritmes vereis om die posisie van die skaduwee te bepaal of hoe goed belig weerskante van die muur sal wees. Net so sal voorwerpe wat lig weerkaats of breek, soos 'n spieël, 'n blink voorwerp of 'n watermassa, ook hul eie tegnieke benodig.
In klassieke weergawe word elke bate met 'n veelhoekmaas voorgestel. 'n Skakeringprogram sal dan die veelhoek as invoer gebruik om te bepaal hoe die voorwerp sal lyk gegewe die gespesifiseerde beligting en hoek.
Realistiese weergawe sal baie meer rekenkrag vereis aangesien ons bates uiteindelik miljoene veelhoeke het om as insette te gebruik. Die rekenaar-gegenereerde uitset wat algemeen in Hollywood-rolprente voorkom, neem gewoonlik weke of selfs maande om te lewer en kan miljoene dollars kos.
Die straalnasporingbenadering is besonder duur omdat elke pixel in die finale beeld 'n berekening vereis van die pad wat lig van die ligbron na die voorwerp en na die kamera neem.
Vooruitgang in hardeware het grafiese weergawe baie meer toeganklik vir gebruikers gemaak. Byvoorbeeld, baie van die nuutste video speletjies laat straalgespoorde effekte soos fotorealistiese refleksies en skaduwees toe solank hul hardeware opgewasse is vir die taak.
Die nuutste GPU's (grafiese verwerkingseenhede) is spesifiek gebou om die SVE te help om die hoogs komplekse berekeninge te hanteer wat nodig is om fotorealistiese grafika weer te gee.
Die opkoms van neurale weergawe
Neurale lewering probeer om die leweringsprobleem op 'n ander manier aan te pak. In plaas daarvan om algoritmes te gebruik om te simuleer hoe lig met voorwerpe in wisselwerking is, wat as ons 'n model geskep het wat leer hoe 'n toneel vanuit 'n sekere hoek moet lyk?
Jy kan daaraan dink as 'n kortpad om fotorealistiese tonele te skep. Met neurale weergawe hoef ons nie te bereken hoe lig met 'n voorwerp in wisselwerking tree nie, ons benodig net genoeg opleidingsdata.
Hierdie benadering stel navorsers in staat om hoë kwaliteit weergawes van komplekse tonele te skep sonder om op te tree
Wat is neurale velde?
Soos vroeër genoem, gebruik die meeste 3D-weergawes veelhoekmaas om data oor die vorm en tekstuur van elke voorwerp te stoor.
Neurale velde word egter gewild as 'n alternatiewe metode om driedimensionele voorwerpe voor te stel. Anders as veelhoekmaas, is neurale velde differensieerbaar en kontinu.
Wat bedoel ons as ons sê neurale velde is differensieerbaar?
'n 2D-uitset van 'n neurale veld kan nou opgelei word om fotorealisties te word deur bloot die gewigte van die neurale netwerk aan te pas.
Deur neurale velde te gebruik, hoef ons nie meer die fisika van lig te simuleer om 'n toneel weer te gee nie. Die kennis van hoe die finale weergawe verlig sal word, word nou implisiet in die gewigte van ons gestoor neurale netwerk.
Dit stel ons in staat om relatief vinnig nuwe beelde en video's te skep uit net 'n handjievol foto's of videomateriaal.
Hoe om 'n neurale veld op te lei?
Noudat ons die basiese beginsels ken van hoe 'n neurale veld werk, kom ons kyk hoe navorsers in staat is om 'n neurale uitstralingsveld of NeRF.
Eerstens moet ons die ewekansige koördinate van 'n toneel monster en dit in 'n neurale netwerk voer. Hierdie netwerk sal dan veldhoeveelhede kan produseer.
Die geproduseerde veldhoeveelhede word beskou as monsters van die gewenste rekonstruksiedomein van die toneel wat ons wil skep.
Ons sal dan die rekonstruksie moet karteer na werklike 2D-beelde. 'n Algoritme sal dan die rekonstruksiefout bereken. Hierdie fout sal die neurale netwerk lei om sy vermoë om die toneel te rekonstrueer, te optimaliseer.
Toepassings van neurale weergawe
Roman View Sintese
Nuwe aansigsintese verwys na die taak om kameraperspektiewe vanuit nuwe hoeke te skep deur data vanuit 'n beperkte aantal perspektiewe te gebruik.
Neurale weergawe tegnieke probeer om die relatiewe posisie van die kamera vir elke beeld in die datastel te raai en voer daardie data in 'n neurale netwerk in.
Die neurale netwerk sal dan 'n 3D-voorstelling van die toneel skep waar elke punt in die 3D-ruimte 'n geassosieerde kleur en digtheid het.
'n Nuwe implementering van NeRF's in Google Street View gebruik nuwe aansig-sintese om gebruikers in staat te stel om werklike liggings te verken asof hulle 'n kamera beheer wat 'n video neem. Dit stel toeriste in staat om bestemmings op 'n meeslepende manier te verken voordat hulle besluit om na 'n spesifieke terrein te reis.
Foto-realistiese avatars
Gevorderde tegnieke in neurale weergawe kan ook die weg baan vir meer realistiese digitale avatars. Hierdie avatars kan dan gebruik word vir verskeie rolle soos virtuele assistente of kliëntediens, of as 'n manier vir gebruikers om hul gelykenis in 'n video game of gesimuleerde weergawe.
Byvoorbeeld, 'n papier wat in Maart 2023 gepubliseer is, stel voor dat neurale weergawetegnieke gebruik word om 'n fotorealistiese avatar te skep na 'n paar minute se videomateriaal.
Gevolgtrekking
Neurale weergawe is 'n opwindende studieveld wat die potensiaal het om die hele rekenaargrafiese industrie te verander.
Die tegnologie kan die toegangsgrens vir die skepping van 3D-bates verlaag. Visuele effekte-spanne hoef dalk nie meer dae te wag om 'n paar minute fotorealistiese grafika te lewer nie.
Deur die tegnologie met bestaande VR- en AR-toepassings te kombineer, kan ontwikkelaars ook meer meesleurende ervarings skep.
Wat dink jy is die ware potensiaal vir neurale weergawe?
Lewer Kommentaar