Rendering neural mangrupikeun téknik anu muncul dina pangajaran jero anu tujuanana pikeun ngagedekeun pipa klasik grafik komputer sareng jaringan saraf.
Algoritma rendering saraf ngabutuhkeun sakumpulan gambar anu ngagambarkeun sudut anu béda dina pamandangan anu sami. Gambar ieu lajeng bakal fed kana jaringan neural pikeun nyieun model nu bisa kaluaran sudut anyar tina pamandangan sarua.
The brilliance balik rendering neural perenahna di kumaha akurat bisa nyieun deui pamandangan photorealistic lengkep tanpa kudu ngandelkeun métode klasik nu bisa jadi leuwih komputasi nungtut.
Sateuacan nyilem kana cara rendering saraf, hayu urang bahas dasar-dasar rendering klasik.
Naon Rendering Klasik?
Hayu urang mimiti ngarti métode has dipaké dina rendering klasik.
Rendering klasik ngarujuk kana set téknik anu dianggo pikeun nyiptakeun gambar 2D tina pamandangan tilu diménsi. Ogé katelah sintésis gambar, rendering klasik ngagunakeun rupa-rupa algoritma pikeun simulasi kumaha cahaya berinteraksi sareng sababaraha jinis objék.
Salaku conto, ngadamel bata padet ngabutuhkeun set algoritma khusus pikeun nangtukeun posisi kalangkang atanapi kumaha cahayana boh sisi témbok. Nya kitu, objék nu ngagambarkeun atawa refract cahaya, kayaning eunteung, objék ngagurilap, atawa awak cai, bakal merlukeun téhnik sorangan ogé.
Dina rendering klasik, unggal aset digambarkeun ku bolong polygon. Hiji program shader lajeng bakal ngagunakeun polygon salaku input pikeun nangtukeun kumaha obyék bakal kasampak kawas dibere cahaya husus sarta sudut.
Rendering realistis ngabutuhkeun kakuatan komputasi anu langkung ageung sabab aset urang ngagaduhan jutaan poligon pikeun dianggo salaku input. Kaluaran anu dibangkitkeun komputer anu umum di blockbuster Hollywood biasana ngabutuhkeun sababaraha minggu atanapi bulan kanggo ngahasilkeun sareng tiasa hargana jutaan dolar.
Pendekatan ray tracing utamana mahal sabab unggal piksel dina gambar ahir merlukeun itungan jalur cahaya nyokot tina sumber cahaya ka objék jeung ka kaméra.
Kamajuan hardware parantos ngajantenkeun rendering grafis langkung diaksés pikeun pangguna. Contona, loba panganyarna kaulinan pidéo ngidinan épék sinar-dilacak kayaning reflections poto-realistis jeung bayangan salami hardware maranéhanana nepi ka tugas.
GPUs panganyarna (unit processing grafis) diwangun husus pikeun mantuan CPU nanganan itungan kacida kompleks diperlukeun pikeun nyieun grafik poto-realistis.
Kebangkitan Neural Rendering
Rendering neural nyobian ngarengsekeun masalah rendering ku cara anu béda. Gantina ngagunakeun algoritma pikeun simulasi kumaha cahaya berinteraksi sareng objék, kumaha upami urang nyiptakeun modél anu diajar kumaha pamandangan kedah katingali tina sudut anu tangtu?
Anjeun tiasa nganggap éta salaku potong kompas pikeun nyiptakeun pamandangan fotoréalistis. Kalayan rendering saraf, urang henteu kedah ngitung kumaha cahaya berinteraksi sareng hiji obyék, urang ngan ukur peryogi data latihan anu cukup.
Pendekatan ieu ngamungkinkeun panalungtik pikeun nyieun renders kualitas luhur pamandangan kompléks tanpa kudu ngalakukeun
Naon Widang Neural?
Salaku disebutkeun tadi, lolobana renders 3D ngagunakeun polygon meshes pikeun nyimpen data dina bentuk jeung tékstur unggal objék.
Sanajan kitu, widang neural anu gaining popularitasnya salaku métode alternatif ngalambangkeun objék tilu diménsi. Beda sareng polygon meshes, médan saraf tiasa dibédakeun sareng kontinyu.
Naon anu urang hartosna nalika urang nyarios médan saraf tiasa dibédakeun?
Kaluaran 2D tina médan saraf ayeuna tiasa dilatih janten fotoréalistis ku ngan ukur nyaluyukeun beurat jaringan saraf.
Ngagunakeun widang neural, urang henteu deui kudu simulate fisika cahaya pikeun nyieun adegan. Pangaweruh ngeunaan kumaha render final bakal hurung ayeuna disimpen sacara implisit di jero beurat urang jaringan neural.
Hal ieu ngamungkinkeun urang pikeun nyieun gambar novel jeung video rélatif gancang ti ngan sakeupeul poto atawa footage video.
Kumaha Ngalatih Lapang Neural?
Ayeuna urang terang dasar-dasar kumaha widang neural jalan, hayu urang tingali kumaha panalungtik tiasa ngalatih médan sinar saraf atanapi NeRF.
Kahiji, urang kudu sampel koordinat acak tina pamandangan jeung eupan kana jaringan neural. Jaringan ieu teras bakal tiasa ngahasilkeun jumlah lapangan.
Kuantitas lapangan anu dihasilkeun dianggap sampel tina domain rekonstruksi anu dipikahoyong tina pamandangan anu urang hoyong jieun.
Urang lajeng bakal perlu peta rekonstruksi kana gambar 2D sabenerna. Hiji algoritma lajeng bakal ngitung kasalahan rekonstruksi. Kasalahan ieu bakal nungtun jaringan saraf pikeun ngaoptimalkeun kamampuan pikeun ngarekonstruksikeun pamandangan.
Aplikasi tina Neural Rendering
Sintésis Témbongkeun Novel
Sintésis pintonan novél nujul kana tugas nyieun sudut pandang kaméra ti sudut anyar ngagunakeun data tina jumlah kawates sudut pandang.
Téhnik rendering saraf coba nebak posisi relatif kaméra pikeun tiap gambar dina dataset jeung eupan data éta kana jaringan saraf.
Jaringan saraf lajeng bakal nyieun representasi 3D tina pamandangan dimana unggal titik dina spasi 3D boga warna pakait jeung dénsitas.
A palaksanaan anyar NeRFs di Google Street View ngagunakeun sintésis pintonan novél pikeun ngidinan pamaké pikeun ngajalajah lokasi dunya nyata saolah-olah maranéhna ngadalikeun kaméra nyokot video. Hal ieu ngamungkinkeun wisatawan pikeun ngajajah tujuan dina cara immersive saméméh mutuskeun indit ka situs husus.
Avatar poto-realistis
Téhnik canggih dina rendering saraf ogé tiasa muka jalan pikeun avatar digital anu langkung réalistis. Avatar ieu teras tiasa dianggo pikeun sagala rupa peran sapertos asisten virtual atanapi palayanan palanggan, atanapi salaku cara pikeun pangguna nyelapkeun sasaruaanana dina video game atanapi simulated ngajadikeun.
Contona, hiji keretas diterbitkeun dina Maret 2023 nyarankeun ngagunakeun téknik rendering saraf pikeun nyiptakeun avatar poto-réalistis saatos sababaraha menit pidéo.
kacindekan
Rendering neural mangrupikeun bidang pangajaran anu pikaresepeun anu berpotensi ngarobih sadayana industri grafik komputer.
Téknologi éta tiasa nurunkeun halangan éntri pikeun nyiptakeun aset 3D. Tim épék visual henteu kedah ngantosan dinten-dinten kanggo ngadamel sababaraha menit grafik poto-realistis.
Ngagabungkeun téknologi sareng aplikasi VR sareng AR anu tos aya ogé tiasa ngamungkinkeun para pamekar nyiptakeun pangalaman anu langkung immersive.
Kumaha saur anjeun poténsi leres pikeun rendering saraf?
Leave a Reply