Neuroninis atvaizdavimas yra nauja gilaus mokymosi technika, kuria siekiama papildyti klasikinį kompiuterinės grafikos vamzdyną neuroniniais tinklais.
Neuroniniam atvaizdavimo algoritmui reikės vaizdų, vaizduojančių skirtingus tos pačios scenos kampus, rinkinio. Tada šie vaizdai bus įvesti į neuroninį tinklą, kad būtų sukurtas modelis, galintis išvesti naujus tos pačios scenos kampus.
Neuroninio atvaizdavimo ryškumas slypi tame, kaip jis gali tiksliai atkurti detalias fotorealistines scenas, nepasikliaujant klasikiniais metodais, kurie gali būti sudėtingesni skaičiavimams.
Prieš pasinerdami į tai, kaip veikia neuroninis atvaizdavimas, peržvelkime klasikinio atvaizdavimo pagrindus.
Kas yra klasikinis atvaizdavimas?
Pirmiausia supraskime tipinius metodus, naudojamus klasikiniame atvaizdavime.
Klasikinis atvaizdavimas reiškia metodų rinkinį, naudojamą kuriant 2D trimatės scenos vaizdą. Taip pat žinomas kaip vaizdo sintezė, klasikinis atvaizdavimas naudoja įvairius algoritmus, kad imituotų šviesos sąveiką su skirtingų tipų objektais.
Pavyzdžiui, norint atvaizduoti vientisą plytą, reikės tam tikro algoritmų rinkinio, kad būtų galima nustatyti šešėlio padėtį arba kaip gerai apšviesta bus abi sienos pusės. Panašiai objektams, kurie atspindi arba laužo šviesą, pavyzdžiui, veidrodžiui, blizgančiam objektui ar vandens telkiniui, taip pat reikės savo metodų.
Klasikiniame atvaizdavime kiekvienas turtas vaizduojamas daugiakampiu tinkleliu. Tada šešėlių programa naudos daugiakampį kaip įvestį, kad nustatytų, kaip objektas atrodys esant nurodytam apšvietimui ir kampui.
Realistiniam atvaizdavimui reikės daug daugiau skaičiavimo galios, nes mūsų ištekliai galiausiai turi milijonus daugiakampių, kuriuos galima naudoti kaip įvestį. Kompiuteriu sukurta produkcija, kuri įprasta Holivudo didžiuosiuose filmuose, paprastai užtrunka savaites ar net mėnesius ir gali kainuoti milijonus dolerių.
Spindulių sekimo metodas yra ypač brangus, nes kiekvienam galutinio vaizdo pikseliui reikia apskaičiuoti šviesos kelią nuo šviesos šaltinio iki objekto ir kameros.
Dėl techninės įrangos pažangos grafikos atvaizdavimas tapo daug prieinamesnis vartotojams. Pavyzdžiui, daugelis naujausių Video žaidimai leisti spindulių sekimo efektus, pvz., fotorealistiškus atspindžius ir šešėlius, jei jų techninė įranga yra tinkama užduočiai.
Naujausi GPU (grafikos apdorojimo įrenginiai) sukurti specialiai tam, kad padėtų CPU atlikti labai sudėtingus skaičiavimus, reikalingus fotorealistinei grafikai pateikti.
Neuroninio atvaizdavimo kilimas
Neuroninis atvaizdavimas bando išspręsti atvaizdavimo problemą kitu būdu. Užuot naudoję algoritmus, kad imituotų, kaip šviesa sąveikauja su objektais, kas būtų, jei sukurtume modelį, kuris sužinotų, kaip scena turėtų atrodyti tam tikru kampu?
Galite manyti, kad tai yra fotorealistinių scenų kūrimo nuoroda. Naudojant neuroninį atvaizdavimą, mums nereikia skaičiuoti, kaip šviesa sąveikauja su objektu, mums tiesiog reikia pakankamai mokymo duomenų.
Šis metodas leidžia tyrėjams sukurti aukštos kokybės sudėtingų scenų atvaizdus be jokių veiksmų
Kas yra neuroniniai laukai?
Kaip minėta anksčiau, dauguma 3D vaizdų naudoja daugiakampius tinklelius, kad saugotų duomenis apie kiekvieno objekto formą ir tekstūrą.
Tačiau neuroniniai laukai populiarėja kaip alternatyvus trimačių objektų vaizdavimo būdas. Skirtingai nuo daugiakampių tinklų, neuronų laukai yra diferencijuojami ir ištisiniai.
Ką turime omenyje sakydami, kad neuroniniai laukai yra diferencijuojami?
Neuroninio lauko 2D išvestį dabar galima išmokyti taip, kad ji taptų fotorealistiška, tiesiog koreguojant neuroninio tinklo svorį.
Naudodami neuroninius laukus, mums nebereikia imituoti šviesos fizikos, kad atvaizduotume sceną. Žinios apie tai, kaip bus apšviestas galutinis vaizdas, dabar netiesiogiai saugomos mūsų svoriuose neuroninis tinklas.
Tai leidžia palyginti greitai sukurti naujus vaizdus ir vaizdo įrašus iš kelių nuotraukų ar vaizdo įrašų.
Kaip treniruoti nervinį lauką?
Dabar, kai žinome neuroninio lauko veikimo pagrindus, pažiūrėkime, kaip mokslininkai gali lavinti nervinio spinduliavimo lauką arba NeRF.
Pirmiausia turėsime paimti atsitiktines scenos koordinates ir įvesti jas į neuroninį tinklą. Tada šis tinklas galės gaminti lauko kiekius.
Sukurti lauko kiekiai laikomi pavyzdžiais iš norimos scenos, kurią norime sukurti, rekonstrukcijos srities.
Tada turėsime susieti rekonstrukciją su tikrais 2D vaizdais. Tada algoritmas apskaičiuos rekonstrukcijos klaidą. Ši klaida padės neuroniniam tinklui optimizuoti savo gebėjimą atkurti sceną.
Neuroninio atvaizdavimo taikymai
Novel View sintezė
Naujo vaizdo sintezė reiškia užduotį sukurti fotoaparato perspektyvas iš naujų kampų, naudojant duomenis iš riboto skaičiaus perspektyvų.
Neuroninio atvaizdavimo metodai bando atspėti santykinę kiekvieno vaizdo kameros padėtį duomenų rinkinyje ir įvesti tuos duomenis į neuroninį tinklą.
Tada neuroninis tinklas sukurs 3D scenos vaizdą, kuriame kiekvienas 3D erdvės taškas turi susietą spalvą ir tankį.
Naujas NeRF diegimas "Google Street View naudoja naujoviškų rodinių sintezę, kad naudotojai galėtų tyrinėti realaus pasaulio vietas taip, lyg jie valdytų vaizdo įrašą filmuojančią kamerą. Tai leidžia turistams įdomiai tyrinėti paskirties vietas prieš nusprendžiant keliauti į konkrečią vietą.
Fotorealistiški avatarai
Pažangūs neuroninio atvaizdavimo metodai taip pat gali padėti sukurti tikroviškesnius skaitmeninius avatarus. Tada šie pseudoportretai gali būti naudojami įvairiems vaidmenims, pvz., virtualiems padėjėjams ar klientų aptarnavimo tarnybai, arba kaip būdas vartotojams įterpti savo panašumą į vaizdo žaidimų arba imituojamas atvaizdavimas.
Pavyzdžiui, popierius paskelbtame 2023 m. kovo mėn. siūlo naudoti neuroninio atvaizdavimo metodus, kad po kelių minučių vaizdo įrašo būtų sukurtas tikroviškas pseudoportretas.
Išvada
Neuroninis atvaizdavimas yra įdomi studijų sritis, galinti pakeisti visą kompiuterinės grafikos pramonę.
Ši technologija galėtų sumažinti patekimo į 3D išteklius kliūtis. Vizualinių efektų komandoms gali nebereikėti laukti dienų, kad būtų galima sukurti kelias minutes tikroviškos grafikos.
Derinant technologiją su esamomis VR ir AR programomis, kūrėjai taip pat gali sukurti labiau įtraukiančius potyrius.
Koks, jūsų nuomone, yra tikrasis neuroninio atvaizdavimo potencialas?
Palikti atsakymą