Wataƙila kun ji yadda ƙarfin rubutu-zuwa hoto samfurin AI ya zama a cikin shekaru biyu da suka gabata. Amma ka san cewa fasaha iri ɗaya na iya taimakawa yin tsalle daga 2D zuwa 3D?
Samfuran 3D da aka ƙirƙira AI suna da babban yanayin amfani a cikin yanayin dijital na yau. Wasanin bidiyo kuma fim ya dogara da ƙwararrun masu fasaha na 3D da software na ƙirar ƙira irin su Blender don ƙirƙirar kadarorin 3D don mamaye wuraren da aka samar da kwamfuta.
Koyaya, shin yana yiwuwa masana'antar za ta iya amfani da koyon injin don ƙirƙirar kadarorin 3D tare da ƙarancin ƙoƙari, kamar yadda masu fasahar 2D a yau ke fara ɗaukar fasaha kamar DALL-E da Tafiya ta tsakiya?
Wannan labarin zai bincika wani sabon labari algorithm wanda ke ƙoƙarin ƙirƙirar ingantaccen rubutu-zuwa-3D samfurin ta amfani da data kasance samfurori masu yaduwa.
Mene ne Dreamfusion?
Ɗaya daga cikin manyan batutuwa tare da ƙirƙirar samfurin watsawa wanda ke haifar da kadarorin 3D kai tsaye shine cewa babu yawancin bayanan 3D da ake samu. Samfuran watsawa na 2D sun zama masu ƙarfi sosai saboda ɗimbin bayanan hotuna da aka samu akan intanit. Ba za a iya faɗi iri ɗaya tare da kadarorin 3D ba.
Wasu fasahohin samar da 3D suna aiki a kusa da wannan rashin bayanai ta hanyar cin gajiyar wannan yalwar bayanai na 2D.
DreamFusion ƙirar ƙira ce mai ƙira wacce zata iya ƙirƙirar ƙirar 3D dangane da bayanin rubutu da aka bayar. Samfurin DreamFusion yana amfani da samfurin watsa rubutu-zuwa-hoto da aka riga aka horar don samar da ingantattun samfura masu girma uku daga saƙon rubutu.
Duk da cewa ba shi da bayanan horo na 3D, wannan tsarin ya haifar da kadarorin 3D masu daidaituwa tare da bayyanar aminci da zurfi.
Yaya ta yi aiki?
Algorithm na DreamFusion ya ƙunshi manyan samfura guda biyu: samfurin watsawa na 2D da a neural network wanda zai iya canza hotunan 2D zuwa yanayin 3D mai haɗin kai.
Model Rubutu-zuwa Hoto na Google
Sashin farko na algorithm shine samfurin yaduwa. Wannan samfurin yana da alhakin canza rubutu zuwa hotuna.
Imagen samfurin yaduwa ne wanda zai iya haifar da babban samfurin bambancin hoto na wani abu. A wannan yanayin, bambance-bambancen hoton mu yakamata ya rufe duk kusurwoyi masu yuwuwar abin da aka bayar. Misali, idan muna son samar da samfurin doki na 3D, za mu so hotunan dokin 2D daga kowane kusurwoyi masu yuwuwa. Manufar ita ce a yi amfani da Imagen don samar da bayanai da yawa kamar yadda zai yiwu (launuka, tunani, yawa) don samfurin na gaba a cikin algorithm.
Ƙirƙirar Samfuran 3D tare da NeRF
Na gaba, Dreamfusion yana amfani da samfurin da aka sani da a Filin Radiyan Jijiya ko NeRF don ƙirƙirar ƙirar 3D a zahiri daga saitin hoton da aka ƙirƙira. NeRFs suna iya ƙirƙirar fa'idodin 3D masu rikitarwa waɗanda aka ba da saitin bayanai na hotuna 2D.
Bari mu yi ƙoƙarin fahimtar yadda NeRF ke aiki.
Samfurin yana nufin ƙirƙirar ci gaba da aikin fage mai girma wanda aka inganta daga bayanan da aka samar na hotuna 2D.
Idan samfurin ya haifar da aiki, menene shigarwar da fitarwa?
Ayyukan wurin yana ɗauka a cikin wurin 3D da alƙawarin kallo na 2D azaman shigarwa. Sa'an nan kuma aikin yana fitar da launi (a cikin nau'i na RGB) da takamaiman girman girma.
Don samar da hoton 2D daga wani takamaiman ra'ayi, samfurin zai haifar da saitin maki 3D kuma ya gudanar da waɗannan maki ta hanyar aikin wurin don dawo da saitin launi da ƙimar ƙimar girma. Dabarun ƙirƙira ƙara za su canza waɗannan ƙimar zuwa fitowar hoto na 2D.
Amfani da NeRF da 2D Diffusion Model Tare
Yanzu da muka san yadda NeRF ke aiki, bari mu ga yadda wannan ƙirar zata iya samar da ingantattun samfuran 3D daga hotunan da aka samar.
Ga kowane saƙon rubutu da aka bayar, DreamFusion yana horar da NeRF da aka fara ba da gangan daga karce. Kowane juzu'i yana zaɓar matsayin kamara bazuwar a cikin saitin daidaitawa mai zagaye. Yi la'akari da samfurin da aka rufe a cikin gilashin gilashi. Duk lokacin da muka ƙirƙiro sabon hoto na ƙirar 3D ɗin mu, za mu zaɓi bazuwar batu a cikin sararinmu a matsayin mahimmin abin da muke samarwa. DreamFusion kuma zai zaɓi wurin haske bazuwar l don amfani don bayarwa.
Da zarar muna da kyamara da matsayi mai haske, za a yi samfurin NeRF. DreamFusion kuma za ta zaɓi ba da gangan tsakanin mai launi mai launi, ba da rubutu mara rubutu, da yin albedo ba tare da wani inuwa ba.
Mun ambata a baya cewa muna son samfurin mu na rubutu-zuwa hoto (Imagen) don samar da isassun hotuna don ƙirƙirar samfurin wakilci.
Ta yaya Dreamfusion ya cika wannan?
Dreamfusion yana canza saurin shigar da sauri don cimma kusurwoyin da aka yi niyya. Misali, za mu iya cimma manyan kusurwoyi masu tsayi ta hanyar sanya "hangen sama" zuwa ga saurin mu. Za mu iya samar da wasu kusurwoyi ta hanyar sanya jimloli kamar "kallo na gaba", "duba gefe", da "duba baya".
Ana sake yin al'amuran daga wuraren kamara bazuwar. Waɗannan fa'idodin sai su wuce ta aikin asarar ƙima. Hanya mai sauƙi mai sauƙi mai sauƙi za ta inganta sannu a hankali Tsarin 3D har sai ya dace da wurin da rubutun ya bayyana.
Da zarar mun yi samfurin 3D ta amfani da NeRF, za mu iya amfani da Cubes algorithm don fitar da raga na 3D na ƙirar mu. Ana iya shigo da wannan ragar cikin shahararrun masu yin 3D ko software na ƙirar ƙira.
gazawar
Duk da yake fitowar DreamFusion tana da ban sha'awa sosai tunda tana amfani da samfuran watsa rubutu-zuwa-hoto a cikin sabuwar hanya, masu binciken sun lura da ƴan iyakoki.
An lura da aikin hasara na SDS don samar da sakamako mai ma'ana da sulke. Kuna iya lura da wannan a cikin launi mara kyau da rashin cikakkun bayanai da aka samo a cikin abubuwan da aka fitar.
Hakanan DreamFusion algorithm yana iyakance ta ƙudurin fitowar samfurin Imagen, wanda shine 64 x 64 pixels. Wannan yana haifar da ƙirar ƙira waɗanda ba su da cikakkun bayanai.
A ƙarshe, masu binciken sun lura cewa akwai ƙalubalen da ke tattare da haɗa samfuran 3D daga bayanan 2D. Akwai yuwuwar ƙirar 3D da yawa waɗanda za mu iya samarwa daga saitin hotuna na 2D, wanda ke sa haɓakawa da wahala sosai har ma da shubuha.
Kammalawa
Ma'anar 3D na DreamFusion yana aiki da kyau saboda iyawar ƙirar rubutu-zuwa hoto don ƙirƙirar kowane abu ko yanayi. Yana da ban sha'awa yadda cibiyar sadarwar jijiyoyi za ta iya fahimtar yanayi a sararin 3D ba tare da kowane bayanan horo na 3D ba. Ina ba da shawarar karantawa dukan takarda don ƙarin koyo game da cikakkun bayanan fasaha na DreamFusion algorithm.
Da fatan, wannan fasaha za ta inganta don ƙirƙirar ƙirar 3D na ainihi na hoto. Ka yi tunanin gabaɗayan wasannin bidiyo ko kwaikwaiyo waɗanda ke amfani da mahalli da aka samar da AI. Zai iya rage shingen shigarwa ga masu haɓaka wasan bidiyo don ƙirƙirar duniyoyin 3D masu nitsewa!
Wace rawa kuke tsammanin ƙirar rubutu-zuwa-3D za ta taka nan gaba?
Leave a Reply