Neural gengivelse er en ny teknik inden for dyb læring, der har til formål at udvide den klassiske pipeline af computergrafik med neurale netværk.
En neural gengivelsesalgoritme vil kræve et sæt billeder, der repræsenterer forskellige vinkler af den samme scene. Disse billeder vil derefter blive ført ind i et neuralt netværk for at skabe en model, der kan udskrive nye vinkler af den samme scene.
Genialiteten bag neural gengivelse ligger i, hvordan den nøjagtigt kan genskabe detaljerede fotorealistiske scener uden at skulle stole på klassiske metoder, der kan være mere beregningskrævende.
Før vi dykker ned i, hvordan neural gengivelse fungerer, lad os gennemgå det grundlæggende i klassisk gengivelse.
Hvad er klassisk gengivelse?
Lad os først forstå de typiske metoder, der bruges i klassisk gengivelse.
Klassisk gengivelse refererer til det sæt af teknikker, der bruges til at skabe et 2D-billede af en tredimensionel scene. Klassisk gengivelse, også kendt som billedsyntese, bruger forskellige algoritmer til at simulere, hvordan lys interagerer med forskellige typer objekter.
For eksempel vil gengivelse af en solid mursten kræve et bestemt sæt algoritmer for at bestemme skyggens position eller hvor godt oplyst hver side af væggen vil være. På samme måde vil genstande, der reflekterer eller bryder lys, såsom et spejl, en skinnende genstand eller en vandmasse, også kræve deres egne teknikker.
I klassisk gengivelse er hvert aktiv repræsenteret med et polygonnet. Et skyggeprogram vil derefter bruge polygonen som input til at bestemme, hvordan objektet vil se ud givet den angivne belysning og vinkel.
Realistisk gengivelse vil kræve meget mere regnekraft, da vores aktiver ender med at have millioner af polygoner at bruge som input. Det computergenererede output, der er almindeligt i Hollywood blockbusters, tager typisk uger eller endda måneder at gengive og kan koste millioner af dollars.
Strålesporingsmetoden er særlig dyr, fordi hver pixel i det endelige billede kræver en beregning af den vej, lyset tager fra lyskilden til objektet og til kameraet.
Fremskridt inden for hardware har gjort grafikgengivelsen meget mere tilgængelig for brugerne. For eksempel mange af de nyeste videospil tillade strålesporede effekter såsom fotorealistiske refleksioner og skygger, så længe deres hardware er klar til opgaven.
De nyeste GPU'er (grafiske behandlingsenheder) er bygget specifikt til at hjælpe CPU'en med at håndtere de meget komplekse beregninger, der kræves for at gengive fotorealistisk grafik.
Fremkomsten af neural gengivelse
Neural rendering forsøger at tackle renderingsproblemet på en anden måde. I stedet for at bruge algoritmer til at simulere, hvordan lys interagerer med objekter, hvad nu hvis vi lavede en model, der lærer, hvordan en scene skal se ud fra en bestemt vinkel?
Du kan tænke på det som en genvej til at skabe fotorealistiske scener. Med neural gengivelse behøver vi ikke at beregne, hvordan lys interagerer med et objekt, vi har bare brug for nok træningsdata.
Denne tilgang giver forskere mulighed for at skabe højkvalitets gengivelser af komplekse scener uden at skulle udføre
Hvad er neurale felter?
Som tidligere nævnt bruger de fleste 3D-gengivelser polygonmasker til at gemme data om formen og teksturen af hvert objekt.
Imidlertid vinder neurale felter popularitet som en alternativ metode til at repræsentere tredimensionelle objekter. I modsætning til polygonmasker er neurale felter differentierbare og kontinuerlige.
Hvad mener vi, når vi siger, at neurale felter er differentierbare?
Et 2D-output fra et neuralt felt kan nu trænes til at blive fotorealistisk ved blot at justere vægten af det neurale netværk.
Ved at bruge neurale felter behøver vi ikke længere at simulere lysets fysik for at gengive en scene. Viden om, hvordan den endelige gengivelse vil blive tændt, er nu gemt implicit inde i vores vægte neurale netværk.
Dette giver os mulighed for relativt hurtigt at skabe nye billeder og videoer fra blot en håndfuld fotos eller videooptagelser.
Hvordan træner man et neuralt felt?
Nu hvor vi kender det grundlæggende i, hvordan et neuralt felt fungerer, lad os tage et kig på, hvordan forskere er i stand til at træne et neuralt udstrålingsfelt eller NeRF.
Først skal vi prøve de tilfældige koordinater for en scene og føre dem ind i et neuralt netværk. Dette netværk vil så være i stand til at producere feltmængder.
De producerede feltmængder betragtes som prøver fra det ønskede rekonstruktionsdomæne af den scene, vi ønsker at skabe.
Vi bliver derefter nødt til at kortlægge rekonstruktionen til faktiske 2D-billeder. En algoritme vil derefter beregne rekonstruktionsfejlen. Denne fejl vil guide det neurale netværk til at optimere dets evne til at rekonstruere scenen.
Anvendelser af neural gengivelse
Syntese af romansyn
Ny visningssyntese refererer til opgaven med at skabe kameraperspektiver fra nye vinkler ved hjælp af data fra et begrænset antal perspektiver.
Neurale gengivelsesteknikker forsøger at gætte kameraets relative position for hvert billede i datasættet og føre disse data ind i et neuralt netværk.
Det neurale netværk vil derefter skabe en 3D-repræsentation af scenen, hvor hvert punkt i 3D-rummet har en tilhørende farve og tæthed.
En ny implementering af NeRF'er i Google Street View bruger ny visningssyntese for at give brugerne mulighed for at udforske virkelige steder, som om de styrede et kamera, der optager en video. Dette giver turister mulighed for at udforske destinationer på en fordybende måde, før de beslutter sig for at rejse til et bestemt sted.
Fotorealistiske avatarer
Avancerede teknikker inden for neural gengivelse kan også bane vejen for mere realistiske digitale avatarer. Disse avatarer kan derefter bruges til forskellige roller såsom virtuelle assistenter eller kundeservice, eller som en måde for brugere at indsætte deres lighed i en video game eller simuleret gengivelse.
For eksempel kan en papir offentliggjort i marts 2023 foreslår at bruge neurale gengivelsesteknikker til at skabe en fotorealistisk avatar efter et par minutters videooptagelser.
Konklusion
Neural rendering er et spændende studieområde, der har potentiale til at ændre hele computergrafikindustrien.
Teknologien kan sænke adgangsbarrieren for oprettelse af 3D-aktiver. Visuelle effekter-teams behøver muligvis ikke længere at vente dage på at gengive et par minutters fotorealistisk grafik.
Kombination af teknologien med eksisterende VR- og AR-applikationer kan også give udviklere mulighed for at skabe mere fordybende oplevelser.
Hvad tror du er det sande potentiale for neural gengivelse?
Giv en kommentar