Daftar Isi[Bersembunyi][Menunjukkan]
Hai, tahukah Anda, bahwa pemandangan 3D dapat dibuat dari input data 2D dalam hitungan detik dengan model perenderan saraf NeRF Instan NVIDIA, dan foto pemandangan itu dapat dirender dalam milidetik?
Koleksi foto diam dapat dengan cepat diubah menjadi lingkungan 3D digital menggunakan teknik yang dikenal sebagai rendering terbalik, yang memungkinkan AI untuk meniru cara kerja cahaya di dunia nyata.
Ini adalah salah satu model pertama dari jenisnya yang dapat menggabungkan pelatihan jaringan saraf ultra-cepat dan rendering cepat, berkat teknik yang dirancang oleh tim peneliti NVIDIA yang menyelesaikan operasi dengan sangat cepat – hampir seketika.
Artikel ini akan memeriksa NeRF NVIDIA secara mendalam, termasuk kecepatan, kasus penggunaan, dan faktor lainnya.
Jadi, apa NeRF?
NeRF adalah singkatan dari neural radiance field, yang mengacu pada teknik untuk menciptakan tampilan unik dari adegan rumit dengan menyempurnakan fungsi adegan volumetrik berkelanjutan yang mendasarinya menggunakan sejumlah kecil tampilan input.
Saat diberikan koleksi foto 2D sebagai input, NeRF NVIDIA menggunakan jaringan saraf untuk mewakili dan menghasilkan adegan 3D.
Sejumlah kecil foto dari berbagai sudut di sekitar area diperlukan untuk saraf jaringan, bersama dengan lokasi kamera di setiap bingkai.
Semakin cepat gambar ini diambil, semakin baik, terutama dalam adegan dengan aktor atau objek yang bergerak.
Adegan 3D yang dihasilkan AI akan tercoreng jika ada terlalu banyak gerakan selama prosedur pengambilan gambar 2D.
Dengan memprediksi warna cahaya yang memancar ke segala arah dari lokasi mana pun di lingkungan 3D, NeRF secara efektif mengisi celah yang ditinggalkan oleh data ini untuk menyusun keseluruhan gambar.
Karena NeRF dapat menghasilkan adegan 3D dalam beberapa milidetik setelah menerima input yang tepat, ini adalah pendekatan NeRF tercepat hingga saat ini.
NeRF bekerja sangat cepat sehingga hampir seketika, itulah namanya. Jika representasi 3D standar seperti jaring poligonal adalah gambar vektor, NeRF adalah gambar bitmap: mereka menangkap secara padat cara cahaya memancar dari suatu objek atau di dalam pemandangan.
NeRF Instan sangat penting untuk 3D karena kamera digital dan kompresi JPEG telah digunakan untuk fotografi 2D, secara dramatis meningkatkan kecepatan, kenyamanan, dan jangkauan pengambilan dan berbagi 3D.
NeRF Instan dapat digunakan untuk menghasilkan avatar atau bahkan seluruh pemandangan untuk dunia virtual.
Untuk menghormati masa-masa awal foto Polaroid, tim Riset NVIDIA membuat ulang bidikan terkenal Andy Warhol yang mengambil foto instan dan mengubahnya menjadi pemandangan 3D menggunakan Instant NeRF.
Apakah ini benar-benar 1,000 kali lebih cepat?
Adegan 3D bisa memakan waktu berjam-jam untuk dibuat sebelum NeRF, tergantung pada kerumitan dan kualitasnya.
AI sangat mempercepat prosesnya, tetapi masih perlu waktu berjam-jam untuk melatihnya dengan benar. Menggunakan metode yang disebut pengkodean hash multi-resolusi, yang dipelopori oleh NVIDIA, Instant NeRF mengurangi waktu render dengan faktor 1,000.
Paket Tiny CUDA Neural Networks dan NVIDIA CUDA Toolkit digunakan untuk membuat model. Menurut NVIDIA, karena ini adalah jaringan saraf yang ringan, ia dapat dilatih dan digunakan pada satu GPU NVIDIA, dengan kartu NVIDIA Tensor Core yang beroperasi pada kecepatan tercepat.
Use Case
Mobil self-driving adalah salah satu aplikasi paling signifikan dari teknologi ini. Kendaraan ini sebagian besar beroperasi dengan membayangkan lingkungan mereka saat mereka pergi.
Namun, masalah dengan teknologi saat ini adalah kikuk dan memakan waktu terlalu lama.
Namun, dengan menggunakan NeRF Instan, semua yang diperlukan mobil self-driving untuk memperkirakan/memahami ukuran dan bentuk objek dunia nyata adalah mengambil foto diam, mengubahnya menjadi 3D, dan kemudian menggunakan informasi tersebut.
Mungkin masih ada kegunaan lain di metaverse atau Video game industri produksi.
Karena Instant NeRF memungkinkan Anda membangun avatar atau bahkan seluruh dunia virtual dengan cepat, ini benar.
Hampir sedikit Karakter 3D pemodelan akan diperlukan karena yang perlu Anda lakukan hanyalah menjalankan jaringan saraf, dan itu akan menghasilkan karakter untuk Anda.
Selain itu, NVIDIA masih menjajaki penerapan teknologi ini untuk aplikasi tambahan terkait pembelajaran mesin.
Misalnya, ini dapat digunakan untuk menerjemahkan bahasa lebih akurat daripada sebelumnya dan meningkatkan tujuan umum belajar mendalam algoritma sekarang digunakan untuk berbagai tugas yang lebih luas.
Kesimpulan
Banyak masalah grafik bergantung pada struktur data khusus tugas untuk memanfaatkan kelancaran atau ketersebaran masalah.
Alternatif berbasis pembelajaran praktis yang ditawarkan oleh pengkodean hash multi-resolusi NVIDIA secara otomatis berkonsentrasi pada detail terkait, terlepas dari beban kerja.
Untuk mempelajari lebih lanjut tentang bagaimana hal-hal beroperasi di dalam, lihat resmi GitHub gudang.
Tinggalkan Balasan