Jadual Kandungan[Sembunyi][Tunjukkan]
Hei, tahukah anda, adegan 3D boleh dibuat daripada input data 2D dalam beberapa saat dengan model pemaparan saraf NeRF Segera NVIDIA, dan gambar pemandangan itu boleh dipaparkan dalam milisaat?
Anda boleh menukar koleksi gambar pegun dengan cepat kepada persekitaran 3D digital menggunakan teknik yang dikenali sebagai pemaparan songsang, yang membolehkan AI meniru cara cahaya berfungsi dalam dunia sebenar.
Ia adalah salah satu model pertama seumpamanya yang boleh menggabungkan latihan rangkaian saraf ultra-pantas dan pemaparan pantas, terima kasih kepada teknik yang direka oleh pasukan penyelidik NVIDIA yang menyelesaikan operasi dengan sangat pantas – hampir serta-merta.
Artikel ini akan mengkaji NeRF NVIDIA secara mendalam, termasuk kelajuannya, kes penggunaan dan faktor lain.
Jadi, apakah itu NeRF?
NeRF adalah singkatan kepada medan sinaran saraf, yang merujuk kepada teknik untuk mencipta pandangan unik adegan rumit dengan memperhalusi fungsi adegan isipadu berterusan yang mendasari menggunakan sebilangan kecil paparan input.
Apabila diberikan koleksi foto 2D sebagai input, NeRF NVIDIA menggunakan rangkaian saraf untuk mewakili dan menjana pemandangan 3D.
Sebilangan kecil gambar dari pelbagai sudut sekitar kawasan diperlukan untuk rangkaian neural, bersama-sama dengan lokasi kamera dalam setiap bingkai.
Lebih cepat gambar ini diambil, lebih baik, terutamanya dalam adegan dengan pelakon atau objek yang bergerak.
Pemandangan 3D yang dijana oleh AI akan comot jika terdapat terlalu banyak gerakan semasa prosedur menangkap gambar 2D.
Dengan meramalkan warna cahaya yang terpancar dalam setiap arah dari mana-mana lokasi dalam persekitaran 3D, NeRF secara berkesan mengisi jurang yang ditinggalkan oleh data ini untuk membina keseluruhan imej.
Memandangkan NeRF boleh menjana pemandangan 3D dalam beberapa milisaat selepas menerima input yang betul, ia merupakan pendekatan NeRF terpantas setakat ini.
NeRF berfungsi dengan pantas sehingga ia hampir serta-merta, oleh itu namanya. Jika perwakilan 3D standard seperti jerat poligon ialah gambar vektor, NeRF ialah imej peta bit: ia menangkap padat cara cahaya terpancar daripada objek atau di dalam pemandangan.
NeRF segera adalah penting untuk 3D kerana kamera digital dan pemampatan JPEG telah digunakan untuk fotografi 2D, meningkatkan secara mendadak kelajuan, kemudahan dan jangkauan tangkapan dan perkongsian 3D.
NeRF Segera boleh digunakan untuk menghasilkan avatar atau bahkan keseluruhan pemandangan untuk dunia maya.
Untuk memberi penghormatan kepada hari-hari awal gambar Polaroid, pasukan Penyelidikan NVIDIA mencipta semula tangkapan terkenal Andy Warhol yang mengambil gambar segera dan menukarnya menjadi pemandangan 3D menggunakan NeRF Segera.
Adakah ia benar-benar 1,000 kali lebih pantas?
Pemandangan 3D boleh mengambil masa berjam-jam untuk dibuat sebelum NeRF, bergantung pada kerumitan dan kualitinya.
AI sangat mempercepatkan proses itu, tetapi masih boleh mengambil masa berjam-jam untuk melatih dengan betul. Menggunakan kaedah yang dipanggil pengekodan cincang berbilang resolusi, yang dipelopori oleh NVIDIA, Instant NeRF mengurangkan masa pemaparan dengan faktor 1,000.
Pakej Tiny CUDA Neural Networks dan NVIDIA CUDA Toolkit telah digunakan untuk mencipta model. Menurut NVIDIA, kerana ia adalah rangkaian saraf ringan, ia boleh dilatih dan digunakan pada satu GPU NVIDIA, dengan kad NVIDIA Tensor Core beroperasi pada kelajuan terpantas.
Gunakan Kes
Kereta pandu sendiri adalah salah satu aplikasi paling penting bagi teknologi ini. Kenderaan ini sebahagian besarnya beroperasi dengan membayangkan persekitaran mereka semasa mereka pergi.
Namun, masalah teknologi hari ini ialah ia kekok dan mengambil masa yang terlalu lama.
Walau bagaimanapun, menggunakan Instant NeRF, semua yang diperlukan untuk kereta pandu sendiri untuk menganggar/memahami saiz dan bentuk objek dunia sebenar ialah menangkap gambar pegun, mengubahnya menjadi 3D, dan kemudian menggunakan maklumat tersebut.
Masih terdapat kegunaan lain dalam metaverse atau permainan video industri pengeluaran.
Kerana NeRF Segera membolehkan anda membina avatar atau bahkan seluruh dunia maya dengan cepat, ini adalah benar.
Hampir sedikit Watak 3D pemodelan akan diperlukan kerana semua yang anda perlu lakukan ialah menjalankan rangkaian saraf, dan ia akan menjana watak untuk anda.
Selain itu, NVIDIA masih meneroka menggunakan teknologi ini untuk aplikasi berkaitan pembelajaran mesin tambahan.
Sebagai contoh, ia boleh digunakan untuk menterjemah bahasa dengan lebih tepat daripada sebelumnya dan meningkatkan tujuan umum pembelajaran mendalam algoritma kini digunakan untuk pelbagai tugasan yang lebih luas.
Kesimpulan
Banyak isu grafik bergantung pada struktur data khusus tugas untuk menggunakan kelancaran atau keterbatasan masalah.
Alternatif berasaskan pembelajaran praktikal yang ditawarkan oleh pengekodan cincang berbilang resolusi NVIDIA secara automatik menumpukan pada perincian yang berkaitan, tanpa mengira beban kerja.
Untuk mengetahui lebih lanjut tentang cara perkara beroperasi di dalam, lihat rasmi GitHub repositori.
Sila tinggalkan balasan anda