Rendering saraf ialah teknik baru dalam pembelajaran mendalam yang bertujuan untuk menambah saluran paip klasik grafik komputer dengan rangkaian saraf.
Algoritma pemaparan saraf akan memerlukan satu set imej yang mewakili sudut yang berbeza bagi pemandangan yang sama. Imej-imej ini kemudiannya akan dimasukkan ke dalam rangkaian saraf untuk mencipta model yang boleh mengeluarkan sudut baharu bagi pemandangan yang sama.
Kecemerlangan di sebalik pemaparan saraf terletak pada cara ia boleh mencipta semula adegan fotorealistik terperinci dengan tepat tanpa perlu bergantung pada kaedah klasik yang mungkin lebih memerlukan pengiraan.
Sebelum menyelami cara rendering saraf berfungsi, mari kita bincangkan asas rendering klasik.
Apakah Rendering Klasik?
Mari kita fahami kaedah biasa yang digunakan dalam pemaparan klasik.
Perenderan klasik merujuk kepada set teknik yang digunakan untuk mencipta imej 2D bagi pemandangan tiga dimensi. Juga dikenali sebagai sintesis imej, pemaparan klasik menggunakan pelbagai algoritma untuk mensimulasikan cara cahaya berinteraksi dengan pelbagai jenis objek.
Sebagai contoh, menghasilkan bata pepejal memerlukan set algoritma tertentu untuk menentukan kedudukan bayang-bayang atau sejauh mana pencahayaan kedua-dua sisi dinding itu. Begitu juga, objek yang memantulkan atau membiaskan cahaya, seperti cermin, objek berkilat, atau badan air, akan memerlukan teknik mereka sendiri juga.
Dalam pemaparan klasik, setiap aset diwakili dengan jejaring poligon. Program shader kemudiannya akan menggunakan poligon sebagai input untuk menentukan bagaimana objek akan kelihatan seperti memandangkan pencahayaan dan sudut yang ditentukan.
Perenderan realistik memerlukan lebih banyak kuasa pengiraan kerana aset kami akhirnya mempunyai berjuta-juta poligon untuk digunakan sebagai input. Output janaan komputer yang biasa dalam filem filem Hollywood biasanya mengambil masa berminggu-minggu atau bahkan berbulan-bulan untuk dihasilkan dan boleh menelan belanja berjuta-juta dolar.
Pendekatan pengesanan sinar amat mahal kerana setiap piksel dalam imej akhir memerlukan pengiraan laluan yang diambil oleh cahaya daripada sumber cahaya ke objek dan ke kamera.
Kemajuan dalam perkakasan telah menjadikan pemaparan grafik lebih mudah diakses oleh pengguna. Sebagai contoh, banyak yang terkini permainan video benarkan kesan kesan sinar seperti pantulan foto-realistik dan bayang-bayang asalkan perkakasan mereka sesuai dengan tugas.
GPU (unit pemprosesan grafik) terkini dibina khusus untuk membantu CPU mengendalikan pengiraan yang sangat kompleks yang diperlukan untuk menghasilkan grafik foto-realistik.
Kebangkitan Rendering Neural
Rendering saraf cuba menangani masalah rendering dengan cara yang berbeza. Daripada menggunakan algoritma untuk mensimulasikan cara cahaya berinteraksi dengan objek, bagaimana jika kita mencipta model yang mempelajari cara pemandangan harus dilihat dari sudut tertentu?
Anda boleh menganggapnya sebagai jalan pintas untuk mencipta pemandangan fotorealistik. Dengan pemaparan saraf, kita tidak perlu mengira cara cahaya berinteraksi dengan objek, kita hanya memerlukan data latihan yang mencukupi.
Pendekatan ini membolehkan penyelidik mencipta paparan berkualiti tinggi bagi adegan kompleks tanpa perlu melakukan persembahan
Apakah medan saraf?
Seperti yang dinyatakan sebelum ini, kebanyakan pemaparan 3D menggunakan jejaring poligon untuk menyimpan data pada bentuk dan tekstur setiap objek.
Walau bagaimanapun, medan saraf semakin popular sebagai kaedah alternatif untuk mewakili objek tiga dimensi. Tidak seperti jerat poligon, medan saraf boleh dibezakan dan berterusan.
Apakah yang kita maksudkan apabila kita mengatakan medan saraf boleh dibezakan?
Output 2D daripada medan saraf kini boleh dilatih untuk menjadi fotorealistik dengan hanya melaraskan berat rangkaian saraf.
Menggunakan medan saraf, kita tidak perlu lagi mensimulasikan fizik cahaya untuk menghasilkan pemandangan. Pengetahuan tentang cara pemaparan akhir akan dinyalakan kini disimpan secara tersirat di dalam pemberat kami rangkaian neural.
Ini membolehkan kami mencipta imej dan video baru dengan agak cepat daripada hanya segelintir foto atau rakaman video.
Bagaimana untuk Melatih Medan Neural?
Sekarang setelah kita mengetahui asas bagaimana medan saraf berfungsi, mari kita lihat bagaimana penyelidik dapat melatih medan sinaran saraf atau NeRF.
Mula-mula, kita perlu mencuba koordinat rawak sesuatu pemandangan dan memasukkannya ke dalam rangkaian saraf. Rangkaian ini kemudiannya akan dapat menghasilkan kuantiti medan.
Kuantiti medan yang dihasilkan dianggap sebagai sampel daripada domain pembinaan semula yang diingini bagi pemandangan yang ingin kami cipta.
Kami kemudiannya perlu memetakan pembinaan semula kepada imej 2D sebenar. Algoritma kemudian akan mengira ralat pembinaan semula. Ralat ini akan membimbing rangkaian saraf untuk mengoptimumkan keupayaannya untuk membina semula tempat kejadian.
Aplikasi Rendering Neural
Sintesis Pandangan Novel
Sintesis paparan novel merujuk kepada tugas mencipta perspektif kamera dari sudut baharu menggunakan data daripada bilangan perspektif yang terhad.
Teknik pemaparan saraf cuba meneka kedudukan relatif kamera untuk setiap imej dalam set data dan suapkan data tersebut ke dalam rangkaian saraf.
Rangkaian saraf kemudiannya akan mencipta perwakilan 3D pemandangan di mana setiap titik dalam ruang 3D mempunyai warna dan ketumpatan yang berkaitan.
Pelaksanaan baharu NeRF dalam Google Street View menggunakan sintesis paparan novel untuk membolehkan pengguna meneroka lokasi dunia sebenar seolah-olah mereka sedang mengawal kamera yang mengambil video. Ini membolehkan pelancong meneroka destinasi dengan cara yang mengasyikkan sebelum membuat keputusan untuk melancong ke tapak tertentu.
Avatar foto-realistik
Teknik lanjutan dalam pemaparan saraf juga boleh membuka jalan bagi avatar digital yang lebih realistik. Avatar ini kemudiannya boleh digunakan untuk pelbagai peranan seperti pembantu maya atau perkhidmatan pelanggan, atau sebagai cara untuk pengguna memasukkan rupa mereka dalam permainan video atau render simulasi.
Sebagai contoh, kertas diterbitkan pada Mac 2023 mencadangkan menggunakan teknik pemaparan saraf untuk mencipta avatar foto-realistik selepas beberapa minit rakaman video.
Kesimpulan
Rendering saraf ialah bidang pengajian yang menarik yang berpotensi mengubah keseluruhan industri grafik komputer.
Teknologi ini boleh mengurangkan halangan kemasukan untuk penciptaan aset 3D. Pasukan kesan visual mungkin tidak perlu menunggu beberapa hari lagi untuk menghasilkan beberapa minit grafik foto-realistik.
Menggabungkan teknologi dengan aplikasi VR dan AR sedia ada juga mungkin membolehkan pembangun mencipta pengalaman yang lebih mengasyikkan.
Pada pendapat anda, apakah potensi sebenar untuk rendering saraf?
Sila tinggalkan balasan anda