Neurale weergave is een opkomende techniek in diep leren die tot doel heeft de klassieke pijplijn van computergraphics te vergroten met neurale netwerken.
Een neuraal weergave-algoritme vereist een reeks afbeeldingen die verschillende hoeken van dezelfde scène vertegenwoordigen. Deze afbeeldingen worden vervolgens ingevoerd in een neuraal netwerk om een model te creëren dat nieuwe hoeken van dezelfde scène kan uitvoeren.
De genialiteit achter neurale weergave ligt in de manier waarop het gedetailleerde fotorealistische scènes nauwkeurig kan nabootsen zonder te hoeven vertrouwen op klassieke methoden die meer rekenkundig veeleisend zijn.
Laten we, voordat we ingaan op hoe neurale weergave werkt, de basisprincipes van klassieke weergave bekijken.
Wat is klassieke weergave?
Laten we eerst de typische methoden begrijpen die worden gebruikt bij klassieke weergave.
Klassieke weergave verwijst naar de reeks technieken die worden gebruikt om een 2D-afbeelding van een driedimensionale scène te maken. Ook bekend als beeldsynthese, gebruikt klassieke weergave verschillende algoritmen om te simuleren hoe licht interageert met verschillende soorten objecten.
Het renderen van een massieve baksteen vereist bijvoorbeeld een bepaalde set algoritmen om de positie van de schaduw te bepalen of hoe goed verlicht beide zijden van de muur zullen zijn. Evenzo zullen objecten die licht reflecteren of breken, zoals een spiegel, een glanzend object of een watermassa, ook hun eigen technieken vereisen.
Bij klassieke weergave wordt elk item weergegeven met een veelhoekmesh. Een arceringsprogramma gebruikt dan de polygoon als invoer om te bepalen hoe het object eruit zal zien bij de opgegeven belichting en hoek.
Voor realistische weergave is veel meer rekenkracht nodig, aangezien onze activa uiteindelijk miljoenen polygonen hebben om als invoer te gebruiken. De door de computer gegenereerde uitvoer die gebruikelijk is in Hollywood-kaskrakers, duurt meestal weken of zelfs maanden om te renderen en kan miljoenen dollars kosten.
De ray tracing-benadering is bijzonder kostbaar omdat voor elke pixel in het uiteindelijke beeld een berekening nodig is van het pad dat licht aflegt van de lichtbron naar het object en naar de camera.
Ontwikkelingen in hardware hebben grafische weergave veel toegankelijker gemaakt voor gebruikers. Bijvoorbeeld veel van de nieuwste video games maken ray-tracing-effecten mogelijk, zoals fotorealistische reflecties en schaduwen, zolang hun hardware de taak aankan.
De nieuwste GPU's (grafische verwerkingseenheden) zijn speciaal gebouwd om de CPU te helpen bij het uitvoeren van de zeer complexe berekeningen die nodig zijn om fotorealistische afbeeldingen weer te geven.
De opkomst van neurale weergave
Neurale weergave probeert het weergaveprobleem op een andere manier aan te pakken. Wat als we in plaats van algoritmen te gebruiken om te simuleren hoe licht met objecten interageert, een model zouden maken dat leert hoe een scène er vanuit een bepaalde hoek uit moet zien?
Je kunt het zien als een kortere weg naar het maken van fotorealistische scènes. Met neurale weergave hoeven we niet te berekenen hoe licht interageert met een object, we hebben alleen voldoende trainingsgegevens nodig.
Met deze aanpak kunnen onderzoekers hoogwaardige weergaven van complexe scènes maken zonder te hoeven presteren
Wat zijn neurale velden?
Zoals eerder vermeld, gebruiken de meeste 3D-weergaven polygoonmazen om gegevens over de vorm en textuur van elk object op te slaan.
Neurale velden winnen echter aan populariteit als een alternatieve methode om driedimensionale objecten weer te geven. In tegenstelling tot polygoonmazen zijn neurale velden differentieerbaar en continu.
Wat bedoelen we als we zeggen dat neurale velden differentieerbaar zijn?
Een 2D-uitvoer van een neuraal veld kan nu worden getraind om fotorealistisch te worden door simpelweg de gewichten van het neurale netwerk aan te passen.
Met behulp van neurale velden hoeven we niet langer de fysica van licht te simuleren om een scène weer te geven. De kennis van hoe de uiteindelijke weergave zal worden verlicht, is nu impliciet opgeslagen in de gewichten van onze neuraal netwerk.
Hierdoor kunnen we relatief snel nieuwe afbeeldingen en video's maken van slechts een handvol foto's of videobeelden.
Hoe train je een neuraal veld?
Nu we de basis kennen van hoe een neuraal veld werkt, laten we eens kijken hoe onderzoekers een neuraal stralingsveld kunnen trainen of Nerf.
Eerst moeten we de willekeurige coördinaten van een scène bemonsteren en deze in een neuraal netwerk invoeren. Dit netwerk zal dan veldhoeveelheden kunnen produceren.
De geproduceerde veldhoeveelheden worden beschouwd als monsters van het gewenste reconstructiedomein van de scène die we willen creëren.
We zullen dan de reconstructie moeten toewijzen aan daadwerkelijke 2D-beelden. Een algoritme berekent vervolgens de reconstructiefout. Deze fout zal het neurale netwerk begeleiden om zijn vermogen om de scène te reconstrueren te optimaliseren.
Toepassingen van neurale weergave
Nieuwe kijksynthese
Nieuwe weergavesynthese verwijst naar de taak om cameraperspectieven vanuit nieuwe invalshoeken te creëren met behulp van gegevens uit een beperkt aantal perspectieven.
Neurale weergavetechnieken proberen de relatieve positie van de camera voor elk beeld in de dataset te raden en die gegevens in een neuraal netwerk te voeren.
Het neurale netwerk maakt vervolgens een 3D-weergave van de scène waarbij elk punt in de 3D-ruimte een bijbehorende kleur en dichtheid heeft.
Een nieuwe implementatie van NeRF's in Google Street View maakt gebruik van nieuwe weergavesynthese om gebruikers in staat te stellen locaties in de echte wereld te verkennen alsof ze een camera besturen die een video maakt. Hierdoor kunnen toeristen bestemmingen op een meeslepende manier verkennen voordat ze besluiten naar een specifieke locatie te reizen.
Fotorealistische avatars
Geavanceerde technieken voor neurale weergave kunnen ook de weg vrijmaken voor meer realistische digitale avatars. Deze avatars kunnen vervolgens worden gebruikt voor verschillende rollen, zoals virtuele assistenten of klantenservice, of als een manier voor gebruikers om hun beeltenis in een video game of gesimuleerde weergave.
Bijvoorbeeld een papier gepubliceerd in maart 2023 suggereert het gebruik van neurale weergavetechnieken om na een paar minuten aan videobeelden een fotorealistische avatar te maken.
Conclusie
Neurale weergave is een opwindend vakgebied dat de potentie heeft om de hele computergraphics-industrie te veranderen.
De technologie zou de toetredingsdrempel voor het maken van 3D-activa kunnen verlagen. Teams met visuele effecten hoeven niet langer dagen te wachten om een paar minuten fotorealistische afbeeldingen weer te geven.
Door de technologie te combineren met bestaande VR- en AR-applicaties kunnen ontwikkelaars ook meeslependere ervaringen creëren.
Wat denk je dat het ware potentieel is voor neurale weergave?
Laat een reactie achter