Neural Rendering ass eng opkomende Technik am Deep Learning déi zielt fir déi klassesch Pipeline vu Computergrafik mat neuralen Netzwierker ze vergréisseren.
En neurale Rendering-Algorithmus erfuerdert eng Rei vu Biller déi verschidde Winkele vun der selwechter Szen representéieren. Dës Biller ginn dann an en neuralt Netzwierk gefüttert fir e Modell ze kreéieren deen nei Wénkel vun der selwechter Szen erausginn kann.
D'Brillanz hannert der neuraler Rendering läit an der wéi et detailléiert photorealistesch Szenen präzis ka rekonstruéieren ouni op klassesch Methoden ze vertrauen, déi méi computationell exigent kënne sinn.
Ier mer a wéi neural Rendering funktionnéiert, loosst eis d'Grondlage vum klassesche Rendering iwwergoen.
Wat ass klassesch Rendering?
Loosst eis als éischt déi typesch Methoden verstoen, déi am klassesche Rendering benotzt ginn.
Klassesch Rendering bezitt sech op de Set vun Techniken déi benotzt gi fir en 2D Bild vun enger dreidimensionaler Szen ze kreéieren. Och bekannt als Bildsynthese, benotzt klassesch Rendering verschidde Algorithmen fir ze simuléieren wéi d'Liicht mat verschiddenen Aarte vun Objeten interagéiert.
Zum Beispill, e festen Ziegel ze maachen erfuerdert e bestëmmte Set vun Algorithmen fir d'Positioun vum Schied ze bestëmmen oder wéi gutt beliicht entweder Säit vun der Mauer wäert sinn. Ähnlech, Objekter déi Liicht reflektéieren oder briechen, wéi e Spigel, e glänzend Objet oder e Waasserkierper, erfuerderen och hir eegen Techniken.
Am klassesche Rendering gëtt all Verméigen mat engem Polygon Mesh vertrueden. E Shader Programm benotzt dann de Polygon als Input fir ze bestëmmen wéi den Objet ausgesäit mat der spezifizéierter Beliichtung a Wénkel.
Realistesch Rendering wäert vill méi Rechenkraaft erfuerderen well eis Verméigen um Enn Millioune Polygonen hunn fir als Input ze benotzen. De Computer-generéierten Output, deen an Hollywood Blockbusteren heefeg ass, dauert normalerweis Wochen oder souguer Méint fir ze maachen a ka Millioune Dollar kaschten.
D'Ray Tracing Approche ass besonnesch deier well all Pixel am endgülteg Bild eng Berechnung erfuerdert vum Wee, déi d'Liicht vun der Liichtquell op den Objet an d'Kamera hëlt.
Fortschrëtter an der Hardware hunn d'Grafikendung vill méi zougänglech fir d'Benotzer gemaach. Zum Beispill, vill vun de leschten Video Spiller Erlaabt ray-traced Effekter wéi fotorealistesch Reflexiounen a Schatten soulaang hir Hardware op d'Aufgab ass.
Déi lescht GPUs (Grafikveraarbechtungseenheeten) gi speziell gebaut fir d'CPU ze hëllefen déi héich komplexe Berechnungen ze verschaffen déi néideg sinn fir fotorealistesch Grafiken ze maachen.
D'Erhéijung vun Neural Rendering
Neural Rendering probéiert de Renderingproblem op eng aner Manéier unzegoen. Amplaz Algorithmen ze benotzen fir ze simuléieren wéi d'Liicht mat Objeten interagéiert, wat wa mir e Modell erstallt hunn dee léiert wéi eng Szen aus engem bestëmmte Wénkel soll ausgesinn?
Dir kënnt et als Ofkiirzung denken fir fotorealistesch Szenen ze kreéieren. Mat neurale Rendering brauche mir net ze berechnen wéi d'Liicht mat engem Objet interagéiert, mir brauche just genuch Trainingsdaten.
Dës Approche erlaabt d'Fuerscher qualitativ héichwäerteg Rendering vu komplexe Szenen ze kreéieren ouni ze maachen
Wat sinn Neural Felder?
Wéi virdru scho gesot, benotzen déi meescht 3D Rendering Polygon-Meshes fir Daten iwwer d'Form an d'Textur vun all Objet ze späicheren.
Wéi och ëmmer, neural Felder gewannen Popularitéit als alternativ Method fir dräidimensional Objeten ze representéieren. Am Géigesaz zu Polygon-Meshen sinn neural Felder differenzéierbar a kontinuéierlech.
Wat menge mir wa mir soen datt neural Felder differenzéierbar sinn?
En 2D Output vun engem neurale Feld kann elo trainéiert ginn fir fotorealistesch ze ginn andeems Dir d'Gewiichter vum neurale Netzwierk einfach upassen.
Mat neurale Felder brauche mir net méi d'Physik vum Liicht ze simuléieren fir eng Szen ze maachen. D'Wësse wéi de finalen Rendering beliicht gëtt ass elo implizit an de Gewiichter vun eisem gespäichert neural Netz.
Dëst erlaabt eis nei Biller a Videoe relativ séier aus nëmmen enger Handvoll Fotoen oder Videomaterial ze kreéieren.
Wéi trainéiert een en neuralt Feld?
Elo wou mir d'Grondlage wëssen wéi en neuralt Feld funktionnéiert, loosst eis kucken wéi d'Fuerscher fäeg sinn en neuralt Stralungsfeld ze trainéieren oder NeRF.
Als éischt musse mir déi zoufälleg Koordinate vun enger Szen probéieren a se an en neuralt Netzwierk fidderen. Dëst Netz wäert dann fäeg sinn Feldquantitéiten ze produzéieren.
D'produzéiert Feld Quantitéiten sinn als Echantillon vun der gewënschter Rekonstruktioun Domain vun der Zeen mir schafen wëllt.
Mir mussen dann d'Rekonstruktioun op aktuell 2D Biller kartéieren. En Algorithmus berechent dann de Rekonstruktiounsfehler. Dëse Feeler féiert den neurale Netzwierk fir seng Fäegkeet ze optimiséieren fir d'Szen ze rekonstruéieren.
Uwendungen vun Neural Rendering
Roman View Synthesis
Roman View Synthese bezitt sech op d'Aufgab fir Kameraperspektiven aus neie Winkelen ze kreéieren mat Daten aus enger limitéierter Unzuel vu Perspektiven.
Neural Rendering Techniken probéieren d'relativ Positioun vun der Kamera fir all Bild am Dataset ze roden an dës Donnéeën an en neuralt Netzwierk ze fidderen.
Den neurale Netzwierk wäert dann eng 3D Representatioun vun der Szen erstellen, wou all Punkt am 3D Raum eng assoziéiert Faarf an Dicht huet.
Eng nei Ëmsetzung vun NeRFs an Google Street View benotzt eng nei Synthese fir d'Benotzer z'erméiglechen Real-Welt Locations ze entdecken wéi wa se eng Kamera kontrolléiert hunn e Video ze huelen. Dëst erlaabt Touristen Destinatiounen op eng immersiv Manéier z'entdecken ier se entscheeden op e spezifesche Site ze reesen.
Fotorealistesch Avataren
Fortgeschratt Techniken am neuralen Rendering kënnen och de Wee fir méi realistesch digital Avataren baneen. Dës Avatare kënnen dann fir verschidde Rollen benotzt ginn wéi virtuell Assistenten oder Clientsservice, oder als Wee fir d'Benotzer hir Ähnlechkeet an engem Video spillen oder simuléiert Render-.
Zum Beispill, e Pabeier am Mäerz 2023 publizéiert proposéiert neural Rendering-Techniken ze benotzen fir e fotorealistesche Avatar no e puer Minutten Videomaterial ze kreéieren.
Konklusioun
Neural Rendering ass e spannend Feld vun der Studie déi de Potenzial huet fir déi ganz Computergrafikindustrie z'änneren.
D'Technologie kéint d'Barriär vun der Entrée fir d'Schafung vun 3D Verméigen senken. Visuell Effektteams musse vläicht net méi Deeg waarden fir e puer Minutten Fotorealistesch Grafiken ze maachen.
D'Kombinatioun vun der Technologie mat existéierende VR an AR Uwendungen kann och Entwéckler erlaben méi immersiv Erfarungen ze kreéieren.
Wat mengt Dir ass de richtege Potenzial fir neural Rendering?
Hannerlooss eng Äntwert