Neural rendering adalah teknik yang muncul dalam pembelajaran mendalam yang bertujuan untuk menambah pipa klasik grafik komputer dengan jaringan saraf.
Algoritme rendering saraf akan membutuhkan sekumpulan gambar yang mewakili sudut berbeda dari pemandangan yang sama. Gambar-gambar ini kemudian akan dimasukkan ke dalam jaringan saraf untuk membuat model yang dapat menampilkan sudut baru dari pemandangan yang sama.
Kecemerlangan di balik rendering saraf terletak pada bagaimana ia dapat secara akurat membuat ulang adegan fotorealistik yang mendetail tanpa harus bergantung pada metode klasik yang mungkin lebih menuntut secara komputasi.
Sebelum mempelajari cara kerja rendering saraf, mari kita bahas dasar-dasar rendering klasik.
Apa itu Rendering Klasik?
Pertama mari kita pahami metode khas yang digunakan dalam rendering klasik.
Rendering klasik mengacu pada serangkaian teknik yang digunakan untuk membuat gambar 2D dari pemandangan tiga dimensi. Juga dikenal sebagai sintesis gambar, rendering klasik menggunakan berbagai algoritme untuk mensimulasikan bagaimana cahaya berinteraksi dengan berbagai jenis objek.
Misalnya, merender batu bata padat akan memerlukan serangkaian algoritme tertentu untuk menentukan posisi bayangan atau seberapa baik penerangan di kedua sisi dinding. Demikian pula, benda-benda yang memantulkan atau membiaskan cahaya, seperti cermin, benda berkilau, atau badan air, juga membutuhkan tekniknya sendiri.
Dalam rendering klasik, setiap aset direpresentasikan dengan jaring poligon. Program shader kemudian akan menggunakan poligon sebagai input untuk menentukan bagaimana objek akan terlihat dengan pencahayaan dan sudut yang ditentukan.
Perenderan yang realistis akan membutuhkan lebih banyak daya komputasi karena aset kita pada akhirnya memiliki jutaan poligon untuk digunakan sebagai input. Output yang dihasilkan komputer yang umum di blockbuster Hollywood biasanya membutuhkan waktu berminggu-minggu atau bahkan berbulan-bulan untuk dirender dan dapat menelan biaya jutaan dolar.
Pendekatan ray tracing sangat mahal karena setiap piksel pada gambar akhir memerlukan perhitungan jalur yang diambil cahaya dari sumber cahaya ke objek dan ke kamera.
Kemajuan dalam perangkat keras telah membuat rendering grafis jauh lebih mudah diakses oleh pengguna. Misalnya, banyak yang terbaru Video game memungkinkan efek ray-tracing seperti pantulan foto-realistis dan bayangan selama perangkat kerasnya sesuai dengan tugas.
GPU (unit pemrosesan grafik) terbaru dibuat khusus untuk membantu CPU menangani kalkulasi yang sangat kompleks yang diperlukan untuk merender grafik foto-realistis.
Bangkitnya Rendering Neural
Render saraf mencoba mengatasi masalah rendering dengan cara yang berbeda. Alih-alih menggunakan algoritme untuk mensimulasikan bagaimana cahaya berinteraksi dengan objek, bagaimana jika kita membuat model yang mempelajari bagaimana pemandangan seharusnya terlihat dari sudut tertentu?
Anda dapat menganggapnya sebagai jalan pintas untuk membuat adegan fotorealistik. Dengan rendering saraf, kita tidak perlu menghitung bagaimana cahaya berinteraksi dengan suatu objek, kita hanya memerlukan data pelatihan yang cukup.
Pendekatan ini memungkinkan peneliti untuk membuat render adegan kompleks berkualitas tinggi tanpa harus tampil
Apa itu bidang Neural?
Seperti disebutkan sebelumnya, sebagian besar render 3D menggunakan jaring poligon untuk menyimpan data tentang bentuk dan tekstur setiap objek.
Namun, bidang saraf semakin populer sebagai metode alternatif untuk merepresentasikan objek tiga dimensi. Tidak seperti jaring poligon, bidang saraf dapat dibedakan dan kontinu.
Apa yang kita maksud ketika kita mengatakan bidang saraf dapat dibedakan?
Keluaran 2D dari medan saraf sekarang dapat dilatih menjadi fotorealistik hanya dengan menyesuaikan bobot jaringan saraf.
Menggunakan bidang saraf, kita tidak perlu lagi mensimulasikan fisika cahaya untuk membuat pemandangan. Pengetahuan tentang bagaimana render akhir akan dinyalakan sekarang disimpan secara implisit di dalam bobot kita saraf jaringan.
Hal ini memungkinkan kami membuat gambar dan video baru dengan relatif cepat hanya dari segelintir foto atau rekaman video.
Bagaimana Cara Melatih Bidang Syaraf?
Sekarang setelah kita mengetahui dasar-dasar cara kerja medan saraf, mari kita lihat bagaimana peneliti dapat melatih medan pancaran saraf atau NeRF.
Pertama, kita perlu mengambil sampel koordinat acak dari sebuah adegan dan memasukkannya ke dalam jaringan saraf. Jaringan ini kemudian akan dapat menghasilkan kuantitas lapangan.
Kuantitas lapangan yang dihasilkan dianggap sampel dari domain rekonstruksi yang diinginkan dari pemandangan yang ingin kita buat.
Kami kemudian perlu memetakan rekonstruksi ke gambar 2D yang sebenarnya. Sebuah algoritma kemudian akan menghitung kesalahan rekonstruksi. Kesalahan ini akan memandu jaringan saraf untuk mengoptimalkan kemampuannya merekonstruksi adegan.
Aplikasi Neural Rendering
Sintesis Tampilan Novel
Sintesis tampilan baru mengacu pada tugas membuat perspektif kamera dari sudut baru menggunakan data dari sejumlah perspektif.
Teknik rendering saraf mencoba menebak posisi relatif kamera untuk setiap gambar dalam kumpulan data dan memasukkan data tersebut ke dalam jaringan saraf.
Jaringan saraf kemudian akan membuat representasi 3D dari adegan di mana setiap titik dalam ruang 3D memiliki warna dan kepadatan yang terkait.
Implementasi baru NeRF di Google Street View menggunakan sintesis tampilan baru untuk memungkinkan pengguna menjelajahi lokasi dunia nyata seolah-olah mereka sedang mengontrol kamera yang merekam video. Hal ini memungkinkan wisatawan untuk menjelajahi tujuan secara imersif sebelum memutuskan untuk melakukan perjalanan ke situs tertentu.
Avatar foto-realistis
Teknik canggih dalam rendering saraf juga dapat membuka jalan bagi avatar digital yang lebih realistis. Avatar ini kemudian dapat digunakan untuk berbagai peran seperti asisten virtual atau layanan pelanggan, atau sebagai cara bagi pengguna untuk menyisipkan kemiripan mereka dalam sebuah Video game atau render simulasi.
Misalnya, kertas diterbitkan pada Maret 2023 menyarankan penggunaan teknik rendering saraf untuk membuat avatar foto-realistis setelah rekaman video beberapa menit.
Kesimpulan
Rendering saraf adalah bidang studi menarik yang berpotensi mengubah seluruh industri grafis komputer.
Teknologi ini dapat menurunkan hambatan masuk untuk pembuatan aset 3D. Tim efek visual mungkin tidak lagi harus menunggu berhari-hari untuk merender grafik foto-realistis selama beberapa menit.
Menggabungkan teknologi dengan aplikasi VR dan AR yang ada juga memungkinkan pengembang untuk menciptakan pengalaman yang lebih imersif.
Menurut Anda apa potensi sebenarnya dari rendering saraf?
Tinggalkan Balasan