Anjeun panginten parantos nguping kumaha kuatna modél AI téks-to-gambar dina sababaraha taun katukang. Tapi naha anjeun terang yén téknologi anu sami tiasa ngabantosan kabisat tina 2D ka 3D?
Modél 3D anu dihasilkeun ku AI gaduh kasus panggunaan anu lega dina bentang digital ayeuna. Kaulinan pidéo jeung pilem ngandelkeun seniman 3D terampil sarta software modeling kayaning Blender pikeun nyieun aset 3D pikeun populate pamandangan dihasilkeun komputer.
Nanging, naha mungkin industri tiasa ngagunakeun pembelajaran mesin pikeun nyiptakeun aset 3D kalayan sakedik usaha, sami sareng kumaha seniman 2D ayeuna mimiti ngadopsi téknologi sapertos DALL-E sareng tengah perjalanan?
Tulisan ieu bakal ngajalajah algoritma novel anu nyobian nyiptakeun modél téks-to-3D anu épéktip nganggo anu aya modél difusi.
Naon Dreamfusion?
Hiji masalah utama jeung nyieun model difusi nu ngahasilkeun aset 3D langsung nyaéta yén aya ngan saukur teu loba data 3D sadia. Modél difusi 2D parantos janten kuat kusabab set data gambar anu ageung dipendakan dina internét. Sami teu tiasa nyarios sareng aset 3D.
Sababaraha téknik generatif 3D ngungkulan kakurangan data ieu ku cara ngamangpaatkeun seueurna data 2D ieu.
DreamFusion nyaeta model generative nu bisa nyieun model 3D dumasar kana déskripsi téks disadiakeun. Modél DreamFusion ngagunakeun modél difusi téks-ka-gambar anu tos dilatih pikeun ngahasilkeun modél tilu diménsi anu réalistis tina paréntah téks.
Sanaos teu gaduh data latihan 3D, pendekatan ieu ngahasilkeun aset 3D anu koheren kalayan penampilan kasatiaan anu luhur sareng jero.
Kumaha Dupi Ieu Gawé?
Algoritma DreamFusion diwangun ku dua modél utama: modél difusi 2D sareng a jaringan neural nu bisa ngarobah gambar 2D kana pamandangan 3D cohesive.
Modél Téks-to-Gambar Imagen Google
Bagian kahiji tina algoritma nyaéta modél difusi. Modél ieu tanggung jawab pikeun ngarobih téks kana gambar.
Imagen mangrupa modél difusi nu bisa ngahasilkeun sampel badag variasi gambar tina objék nu tangtu. Dina hal ieu, variasi gambar urang kedah nutupan sagala sudut mungkin tina objék disadiakeun. Contona, upami urang hayang ngahasilkeun model 3D tina kuda, urang bakal hoyong gambar 2D tina kuda tina sagala sudut mungkin. Tujuanana nyaéta ngagunakeun Imagen pikeun nyayogikeun inpormasi saloba mungkin (warna, pantulan, dénsitas) pikeun modél salajengna dina algoritma kami.
Nyiptakeun Model 3D sareng NeRF
Salajengna, Dreamfusion ngagunakeun modél anu katelah a Médan Radiance Neural atanapi NeRF pikeun sabenerna nyieun model 3D tina set gambar dihasilkeun. NeRFs tiasa nyiptakeun pamandangan 3D anu kompleks tina set data gambar 2D.
Hayu urang coba ngartos kumaha a NeRF jalan.
Modél ieu boga tujuan pikeun nyieun fungsi pamandangan volumetrik kontinyu anu dioptimalkeun tina set data gambar 2D anu disayogikeun.
Upami modél nyiptakeun fungsi, naon input sareng kaluaran?
Pungsi pamandangan nyokot lokasi 3D jeung arah nempoan 2D salaku input. Fungsina teras ngaluarkeun warna (dina bentuk RGB) sareng dénsitas volume khusus.
Pikeun ngahasilkeun gambar 2D tina sudut pandang anu khusus, modél bakal ngahasilkeun sakumpulan titik 3D sareng ngajalankeun titik-titik éta ngaliwatan fungsi pamandangan pikeun mulangkeun sakumpulan nilai dénsitas warna sareng volume. Téhnik rendering volume teras bakal ngarobih nilai-nilai éta janten kaluaran gambar 2D.
Ngagunakeun NeRF jeung 2D Difusi Modél Babarengan
Ayeuna urang terang kumaha jalanna NeRF, hayu urang tingali kumaha modél ieu tiasa ngahasilkeun modél 3D anu akurat tina gambar anu dihasilkeun.
Pikeun unggal ajakan téks anu disayogikeun, DreamFusion ngalatih NeRF anu diinisialisasi sacara acak ti mimiti. Unggal iterasi milih posisi kaméra acak dina sakumpulan koordinat buleud. Pikir model encased dina lapisan kaca. Unggal waktos urang ngahasilkeun gambar anyar model 3D urang, urang bakal milih titik acak dina lingkup urang salaku titik vantage kaluaran urang. DreamFusion ogé bakal milih posisi lampu acak l ngagunakeun pikeun rendering.
Sakali kami gaduh kaméra sareng posisi lampu, modél NeRF bakal ditingalikeun. DreamFusion ogé bakal milih sacara acak antara render berwarna, rendering tanpa tékstur, sareng rendering albedo tanpa shading.
Kami parantos nyarios sateuacana yén urang hoyong modél téks-to-gambar (Imagen) ngahasilkeun gambar anu cukup pikeun nyiptakeun conto anu wawakil.
Kumaha Dreamfusion ngalengkepan ieu?
Dreamfusion ngan saukur ngarobih ajakan input pikeun ngahontal sudut anu dimaksud. Contona, urang bisa ngahontal sudut élévasi luhur ku appending "overhead view" kana ajakan urang. Urang bisa ngahasilkeun sudut séjén ku appending frasa kayaning "view hareup", "side view", jeung "back view".
Pamandangan anu sababaraha kali dirender tina posisi kaméra acak. Renderings ieu lajeng ngaliwatan fungsi leungitna distilasi skor. Pendekatan turunan gradién basajan lalaunan bakal ningkatkeun Modél 3D nepi ka cocog jeung adegan nu digambarkeun ku téks.
Sakali kami geus rendered model 3D maké NeRF, urang tiasa nganggo Algoritma kubus Marching pikeun kaluaran bolong 3D model urang. bolong ieu lajeng bisa diimpor kana renderers 3D populér atawa software modeling.
watesan
Bari kaluaran DreamFusion urang cukup impressive sabab ngagunakeun model difusi téks-to-gambar aya dina cara novel, peneliti geus nyatet sababaraha watesan.
Fungsi leungitna SDS geus katalungtik pikeun ngahasilkeun hasil oversaturated na over-smoothed. Anjeun tiasa niténan ieu dina ngawarnaan teu wajar jeung kurangna jéntré tepat kapanggih dina outputs.
Algoritma DreamFusion ogé diwatesan ku résolusi kaluaran modél Imagen, nyaéta 64 x 64 piksel. Ieu ngakibatkeun model disintésis kurang rinci finer.
Anu pamungkas, panalungtik geus dicatet yén aya hiji tantangan alamiah dina sintésis model 3D tina data 2D. Aya loba model 3D mungkin nu urang bisa ngahasilkeun tina susunan gambar 2D, nu ngajadikeun optimasi rada hese komo ambigu.
kacindekan
Renderings 3D DreamFusion tiasa dianggo saé kusabab kamampuan modél difusi téks-ka-gambar pikeun nyiptakeun objék atanapi adegan naon waé. Éta pikaresepeun kumaha jaringan saraf tiasa ngartos pamandangan dina rohangan 3D tanpa data latihan 3D. Abdi nyarankeun maca éta sakabéh kertas pikeun leuwih jéntré ngeunaan rinci teknis ngeunaan algoritma DreamFusion.
Mudah-mudahan, téknologi ieu bakal ningkat pikeun ahirna nyiptakeun modél 3D poto-realistis. Bayangkeun sakabéh kaulinan vidéo atawa simulasi anu ngagunakeun lingkungan anu dihasilkeun ku AI. Éta tiasa nurunkeun halangan éntri pikeun pamekar video game pikeun nyiptakeun dunya 3D anu immersive!
Peran naon saur anjeun model téks-to-3D bakal maén dina mangsa nu bakal datang?
Leave a Reply