Renderowanie neuronowe to nowa technika głębokiego uczenia się, której celem jest rozszerzenie klasycznego potoku grafiki komputerowej o sieci neuronowe.
Algorytm renderowania neuronowego będzie wymagał zestawu obrazów reprezentujących różne kąty tej samej sceny. Obrazy te zostaną następnie wprowadzone do sieci neuronowej w celu utworzenia modelu, który może generować nowe kąty tej samej sceny.
Genialność renderowania neuronowego polega na tym, jak dokładnie odtwarza szczegółowe fotorealistyczne sceny bez konieczności polegania na klasycznych metodach, które mogą być bardziej wymagające obliczeniowo.
Zanim zagłębimy się w sposób działania renderowania neuronowego, przyjrzyjmy się podstawom renderowania klasycznego.
Co to jest renderowanie klasyczne?
Najpierw zapoznajmy się z typowymi metodami stosowanymi w renderowaniu klasycznym.
Renderowanie klasyczne odnosi się do zestawu technik używanych do tworzenia obrazu 2D trójwymiarowej sceny. Klasyczne renderowanie, znane również jako synteza obrazu, wykorzystuje różne algorytmy do symulacji interakcji światła z różnymi typami obiektów.
Na przykład renderowanie litej cegły będzie wymagało określonego zestawu algorytmów w celu określenia położenia cienia lub tego, jak dobrze będzie oświetlona po obu stronach ściany. Podobnie obiekty, które odbijają lub załamują światło, takie jak lustro, błyszczący przedmiot lub zbiornik wodny, również będą wymagały własnych technik.
W klasycznym renderowaniu każdy zasób jest reprezentowany przez siatkę wielokątów. Następnie program cieniujący użyje wielokąta jako danych wejściowych, aby określić, jak obiekt będzie wyglądał przy określonym oświetleniu i kącie.
Realistyczne renderowanie będzie wymagało znacznie większej mocy obliczeniowej, ponieważ nasze zasoby zawierają miliony wielokątów do wykorzystania jako dane wejściowe. Wygenerowany komputerowo materiał wyjściowy, który jest powszechny w hollywoodzkich hitach, zwykle zajmuje tygodnie, a nawet miesiące, i może kosztować miliony dolarów.
Podejście oparte na ray tracingu jest szczególnie kosztowne, ponieważ każdy piksel na ostatecznym obrazie wymaga obliczenia drogi, jaką światło pokonuje od źródła światła do obiektu i do kamery.
Postęp w sprzęcie sprawił, że renderowanie grafiki stało się znacznie bardziej dostępne dla użytkowników. Na przykład wiele najnowszych gier wideo pozwalają na efekty oparte na ray tracingu, takie jak fotorealistyczne odbicia i cienie, o ile ich sprzęt sprosta temu zadaniu.
Najnowsze procesory graficzne (procesory graficzne) są budowane specjalnie po to, aby pomóc procesorowi w wykonywaniu bardzo złożonych obliczeń wymaganych do renderowania fotorealistycznej grafiki.
Powstanie renderowania neuronowego
Renderowanie neuronowe próbuje rozwiązać problem renderowania w inny sposób. Zamiast używać algorytmów do symulacji interakcji światła z obiektami, co by było, gdybyśmy stworzyli model, który uczy się, jak scena powinna wyglądać pod określonym kątem?
Można to traktować jako skrót do tworzenia fotorealistycznych scen. Dzięki renderowaniu neuronowemu nie musimy obliczać, w jaki sposób światło oddziałuje z obiektem, potrzebujemy tylko wystarczającej ilości danych treningowych.
Takie podejście umożliwia naukowcom tworzenie wysokiej jakości renderingów złożonych scen bez konieczności występów
Co to są pola neuronowe?
Jak wspomniano wcześniej, większość renderów 3D wykorzystuje siatki wielokątów do przechowywania danych o kształcie i teksturze każdego obiektu.
Jednak pola neuronowe zyskują na popularności jako alternatywna metoda reprezentacji obiektów trójwymiarowych. W przeciwieństwie do siatek wielokątnych pola neuronowe są różniczkowalne i ciągłe.
Co mamy na myśli, gdy mówimy, że pola neuronowe są różniczkowalne?
Wyjście 2D z pola neuronowego można teraz wyszkolić, aby stało się fotorealistyczne, po prostu dostosowując wagi sieci neuronowej.
Używając pól neuronowych, nie musimy już symulować fizyki światła, aby wyrenderować scenę. Wiedza o tym, jak zostanie oświetlony ostateczny render, jest teraz przechowywana niejawnie w obciążnikach naszego sieci neuronowe.
Dzięki temu możemy stosunkowo szybko tworzyć nowatorskie obrazy i filmy z zaledwie kilku zdjęć lub materiałów wideo.
Jak trenować pole neuronowe?
Teraz, gdy znamy już podstawy działania pola neuronowego, przyjrzyjmy się, w jaki sposób naukowcy są w stanie trenować neuronowe pole radiacyjne lub NeRF.
Najpierw musimy pobrać losowe współrzędne sceny i wprowadzić je do sieci neuronowej. Ta sieć będzie wtedy w stanie produkować ilości polowe.
Wytworzone ilości pola są uważane za próbki z pożądanej domeny rekonstrukcji sceny, którą chcemy stworzyć.
Następnie będziemy musieli odwzorować rekonstrukcję na rzeczywiste obrazy 2D. Następnie algorytm obliczy błąd rekonstrukcji. Ten błąd poprowadzi sieć neuronową, aby zoptymalizować jej zdolność do rekonstrukcji sceny.
Zastosowania renderowania neuronowego
Synteza widoku powieści
Nowatorska synteza widoku odnosi się do zadania tworzenia perspektyw kamery z nowych kątów przy użyciu danych z ograniczonej liczby perspektyw.
Techniki renderowania neuronowego próbują odgadnąć względne położenie kamery dla każdego obrazu w zbiorze danych i przekazują te dane do sieci neuronowej.
Sieć neuronowa utworzy następnie trójwymiarową reprezentację sceny, w której każdy punkt w przestrzeni 3D ma powiązany kolor i gęstość.
Nowa implementacja NeRF w Google Street View wykorzystuje nową syntezę widoku, aby umożliwić użytkownikom eksplorację rzeczywistych lokalizacji, tak jakby sterowali kamerą nagrywającą wideo. Dzięki temu turyści mogą odkrywać miejsca docelowe w wciągający sposób, zanim zdecydują się na podróż do określonego miejsca.
Fotorealistyczne awatary
Zaawansowane techniki renderowania neuronowego mogą również utorować drogę do bardziej realistycznych cyfrowych awatarów. Te awatary mogą być następnie wykorzystywane do różnych ról, takich jak wirtualni asystenci lub obsługa klienta, lub jako sposób na wstawienie przez użytkowników ich podobizny do gra wideo lub symulowany render.
Na przykład, papier opublikowany w marcu 2023 r. sugeruje użycie technik renderowania neuronowego do stworzenia fotorealistycznego awatara po kilku minutach materiału wideo.
Wnioski
Renderowanie neuronowe to ekscytująca dziedzina nauki, która może zmienić całą branżę grafiki komputerowej.
Technologia może obniżyć barierę wejścia dla tworzenia zasobów 3D. Zespoły zajmujące się efektami wizualnymi nie muszą już czekać całymi dniami na renderowanie kilkuminutowej fotorealistycznej grafiki.
Połączenie technologii z istniejącymi aplikacjami VR i AR może również umożliwić programistom tworzenie bardziej wciągających doświadczeń.
Jak myślisz, jaki jest prawdziwy potencjał renderowania neuronowego?
Dodaj komentarz