Daptar eusi[Sumputkeun][Témbongkeun]
Héy, naha anjeun terang, yén pamandangan 3D tiasa didamel tina input data 2D dina sababaraha detik kalayan modél rendering saraf NeRF Instan NVIDIA, sareng poto-poto adegan éta tiasa didamel dina milliseconds?
Kasebut nyaéta dimungkinkeun pikeun gancang ngarobah koléksi poto poto jadi lingkungan 3D digital ngagunakeun téknik katelah rendering tibalik, nu ngamungkinkeun AI pikeun meniru kumaha lampu jalan di dunya sabenerna.
Éta mangrupikeun salah sahiji modél anu munggaran anu tiasa ngagabungkeun latihan jaringan saraf ultra-gancang sareng rendering gancang, hatur nuhun kana téknik anu didamel ku tim peneliti NVIDIA anu ngarengsekeun operasi sacara gancang - ampir sakedapan.
Tulisan ieu bakal nalungtik NeRF NVIDIA sacara jero, kalebet kacepetanna, kasus pamakean, sareng faktor sanésna.
Janten, naon NeRF?
NeRF nangtung pikeun médan radiance saraf, nu nujul kana téhnik pikeun nyieun pintonan unik tina pamandangan pajeulit ku ngamurnikeun hiji fungsi pamandangan volumetric kontinyu kaayaan maké sajumlah leutik pintonan input.
Nalika dipasihan koleksi poto 2D salaku input, NeRFs NVIDIA nganggo jaringan neural pikeun ngagambarkeun jeung ngahasilkeun pamandangan 3D.
Sajumlah leutik poto ti sagala rupa sudut sabudeureun wewengkon diperlukeun pikeun jaringan neural, bareng jeung lokasi kaméra dina unggal pigura.
Langkung gancang gambar-gambar ieu dicandak, langkung saé, khususna dina pamandangan kalayan aktor atanapi objék anu gerak.
Pamandangan 3D anu dibangkitkeun AI bakal jadi smudge lamun aya teuing gerak salila prosedur motret gambar 2D.
Ku ngaramalkeun warna cahaya anu muncul dina unggal arah ti lokasi mana waé dina lingkungan 3D, NeRF sacara efektif ngeusian celah anu ditinggalkeun ku data ieu pikeun ngawangun sakabéh gambar.
Kusabab NeRF tiasa ngahasilkeun pamandangan 3D dina sababaraha milidetik saatos nampi input anu leres, éta mangrupikeun pendekatan NeRF anu paling gancang dugi ka ayeuna.
NeRF jalan gancang pisan yén éta ampir sakedapan, janten namina. Lamun répréséntasi 3D baku kawas bolong polygonal mangrupakeun gambar vektor, NeRFs mangrupakeun gambar bitmap: aranjeunna densely néwak cara emanates cahaya tina hiji obyék atawa jero adegan.
NeRF instan penting pisan pikeun 3D sabab kaméra digital sareng komprési JPEG parantos kana fotografi 2D, sacara dramatis ningkatkeun kagancangan, genah, sareng jangkauan néwak sareng ngabagi 3D.
NeRF Instan tiasa dianggo pikeun ngahasilkeun avatar atanapi bahkan sadayana pamandangan pikeun dunya maya.
Pikeun ngahormatan ka poé mimiti poto Polaroid, tim NVIDIA Research nyieun deui shot kawentar Andy Warhol nyokot poto instan tur dirobah jadi pamandangan 3D maké Instant NeRF.
Naha éta 1,000 kali langkung gancang?
A pamandangan 3D bisa nyandak sababaraha jam pikeun nyieun saméméh NeRF, gumantung kana intricacy jeung kualitas na.
AI pisan ngagancangkeun prosésna, tapi masih tiasa nyandak sababaraha jam pikeun ngalatih leres. Nganggo metode anu disebut encoding hash multi-resolusi, dipelopori ku NVIDIA, Instant NeRF ngirangan waktos render ku faktor 1,000.
Paket Tiny CUDA Neural Networks sareng NVIDIA CUDA Toolkit dianggo pikeun nyiptakeun modél. Numutkeun kana NVIDIA, kusabab éta jaringan saraf anu hampang, éta tiasa dilatih sareng dianggo dina GPU NVIDIA tunggal, kalayan kartu NVIDIA Tensor Core beroperasi dina kecepatan anu paling gancang.
Pamakéan nandakeun Case
Mobil nyetir sorangan mangrupikeun salah sahiji aplikasi anu paling penting dina téknologi ieu. Kandaraan ieu umumna beroperasi ku ngabayangkeun lingkunganana nalika aranjeunna angkat.
Tapi, masalah téknologi ayeuna nyaéta kagok sareng rada lila teuing.
Nanging, nganggo Instant NeRF, sadaya anu dipikabutuh pikeun mobil anu nyetir sorangan pikeun perkiraan / ngartos ukuran sareng bentuk objék dunya nyata nyaéta nyandak poto-poto, ngarobahna kana 3D, teras nganggo inpormasi éta.
Aya kénéh bisa jadi pamakéan sejen dina metaverse atawa video game industri produksi.
Kusabab Instant NeRF ngidinan Anjeun pikeun ngawangun avatar atawa malah sakabéh dunya maya gancang, ieu leres.
Ampir saeutik Karakter 3D modeling bakal diperlukeun sabab kabeh bakal perlu ngalakukeun nyaéta ngajalankeun jaringan saraf, sarta eta bakal ngahasilkeun karakter pikeun anjeun.
Salaku tambahan, NVIDIA masih ngajalajah nerapkeun téknologi ieu pikeun aplikasi tambahan anu aya hubunganana sareng mesin.
Contona, éta bisa dipaké pikeun narjamahkeun basa leuwih akurat ti saméméhna tur ningkatkeun tujuan umum learning jero Algoritma ayeuna dianggo pikeun sajumlah tugas anu langkung ageung.
kacindekan
Loba masalah grafik ngandelkeun struktur data tugas-spésifik pikeun ngamangpaatkeun smoothness atanapi sparsity masalah.
Alternatif berbasis pembelajaran praktis anu ditawarkeun ku encoding hash multi-resolusi NVIDIA sacara otomatis konsentrasi kana detil anu relevan, henteu paduli beban kerja.
Kanggo inpo nu langkung lengkep ihwal kumaha hal-hal di jero, parios resmina GitHub Repository.
Leave a Reply