Waxaa laga yaabaa inaad maqashay sida ay u awood badan yihiin moodooyinka qoraalka-ilaa-image AI ay noqdeen labadii sano ee la soo dhaafay. Laakiin ma ogtahay in tignoolajiyada isku midka ahi ay kaa caawin karto ka soo boodista 2D ilaa 3D?
Moodooyinka 3D ee AI-abuuray waxay leeyihiin kiis la isticmaalo oo ballaadhan muuqaalka dhijitaalka ah ee maanta. kulan Video iyo filimaantu waxay ku tiirsan yihiin farshaxanada 3D ee xirfada leh iyo softiweer qaabaynta sida Blender si ay u abuuraan hantida 3D si ay u buuxiyaan muuqaalada kombuyuutarku soo saaray.
Si kastaba ha ahaatee, suurtagal ma tahay in warshaduhu ay isticmaali karaan barashada mashiinka si ay u abuuraan hantida 3D oo leh dadaal yar, oo la mid ah sida fanaaniinta 2D maanta ay u bilaabayaan inay qaataan tignoolajiyada sida DALL-E iyo Safarka dhexe?
Maqaalkani waxa uu sahamin doonaa algorithm-ka cusub ee isku dayaya in uu abuuro qaab qoraal-ilaa-3D ah oo wax ku ool ah iyada oo la adeegsanayo hadda jira moodooyinka faafinta.
waa maxay Dreamfusion?
Mid ka mid ah arin weyn oo ku saabsan abuurista qaabka fidinta ee soo saara hantida 3D si toos ah ayaa ah in aysan jirin wax badan oo xog 3D ah oo la heli karo. Moodooyinka faafinta 2D waxay noqdeen kuwo aad u xoog badan sababtoo ah xogta baaxadda leh ee sawirada laga helay internetka. Isla sidaas oo kale laguma sheegi karo hantida 3D.
Qaar ka mid ah farsamooyinka wax-soo-saarka 3D ayaa ka shaqeeya xog-la'aantan iyagoo ka faa'iidaysanaya xogtan faraha badan ee 2D.
DreamFusion waa nooc wax-abuur ah oo abuuri kara noocyo 3D oo ku salaysan sharraxaad qoraal ah oo la bixiyay. Moodeelka DreamFusion wuxuu adeegsadaa moodal faafin qoraal-u-sawir ah oo horay loo tababaray si uu u soo saaro noocyo saddex-cabbir ah oo macquul ah oo ka yimaadda kicinta qoraalka.
In kasta oo aan lahayn xogta tababarka 3D, habkani wuxuu soo saaray hantida 3D ee isku xidhan oo leh muuqaal sare iyo qoto dheer.
Sida ay u shaqayn?
Algorithm-ka DreamFusion wuxuu ka kooban yahay laba nooc oo waaweyn: qaabka faafinta 2D iyo a shabakada neuralada taas oo u bedeli karta sawirada 2D muuqaal 3D ah oo isku xidhan.
Qaabka Sawirka-Sawirka ee Google
Qaybta hore ee algorithm waa qaabka fidinta. Qaabkan ayaa mas'uul ka ah u beddelka qoraalka sawirro.
Imagen waa nooc faafin ah oo dhalin kara muunad weyn oo kala duwanaanshaha sawirka shay gaar ah. Xaaladdan oo kale, kala duwanaanshaha sawirkayadu waa inay daboolaan dhammaan xaglaha suurtagalka ah ee shayga la bixiyay. Tusaale ahaan, haddii aan rabno inaan abuurno qaabka 3D ee faraska, waxaan rabnaa sawirada 2D ee faraska dhammaan xaglaha suurtagalka ah. Hadafka waa in la isticmaalo Imagen si loo bixiyo macluumaadka ugu badan ee suurtogalka ah (midabada, milicsiga, cufnaanta) qaabka xiga ee algorithmismka.
Abuuritaanka Model 3D leh NeRF
Marka xigta, Dreamfusion waxay isticmaashaa moodel loo yaqaan a Goobta Shucaaca Neural ama NeRF si ay dhab ahaantii u abuurto qaabka 3D ee sawirka la sameeyay. NeRF-yadu waxay awoodaan inay abuuraan muuqaalo 3D adag oo la siiyay xog-ururinta sawirada 2D.
Aan isku dayno inaan fahanno sida NeRF u shaqeeyo.
Qaabku wuxuu higsanayaa inuu abuuro shaqo muuqaal mug leh oo joogto ah oo laga soo minguuriyay xogta la bixiyay ee sawirada 2D.
Haddii qaabku uu abuuro shaqo, maxay yihiin wax-soo-gelinta iyo soo-saarka?
Shaqada goobtu waxay ku qaadataa meel 3D ah iyo jihada daawashada 2D sida gelinta. Shaqadu waxay markaa soo saartaa midab (qaab RGB) iyo cufnaanta mugga gaarka ah.
Si loo soo saaro sawirka 2D ee aragti gaar ah, qaabku wuxuu soo saari doonaa go'an dhibcaha 3D wuxuuna ku socodsiin doonaa dhibcahaas iyada oo loo marayo shaqada goobta si uu u soo celiyo qiimaha cufnaanta midabka iyo mugga. Farsamooyinka samaynta mugga ayaa markaa qiyamkaas u beddeli doona wax soo saarka sawirka 2D.
Isticmaalka NeRF iyo 2D Qaababka Faafinta Wadajir
Hadda oo aan ognahay sida NeRF u shaqeeyo, aan aragno sida qaabkani u soo saari karo moodooyinka 3D sax ah sawiradayada la soo saaray.
Mid kasta oo degdeg ah oo qoraal ah oo la bixiyo, DreamFusion waxay ku tababartaa NeRF si aan kala sooc lahayn looga bilaabay xoq. Dib-u-eegis kastaa wuxuu doortaa booska kamarada random ee isku-duwayaasha wareegsan. Ka fakar qaabka ku xardhan meel galaas ah. Mar kasta oo aan soo saarno sawir cusub oo ah qaabkayaga 3D, waxaan dooran doonaa meel aan kala sooc lahayn oo ka mid ah goobaheena sida barta faa'iidada leh ee wax soo saarkeena. DreamFusion sidoo kale waxay dooran doontaa meel iftiin aan toos ahayn l si loogu isticmaalo samaynta.
Marka aan haysano kamarad iyo booska iftiinka, qaabka NeRF ayaa la samayn doonaa. DreamFusion waxay sidoo kale si aan kala sooc lahayn u kala dooran doonta soo-bandhig midab leh, soo-bandhig aan texture lahayn, iyo soo-bandhigista albedo iyada oo aan wax hadh ah lahayn.
Waxaan horay u soo sheegnay inaan rabno qaabkayada qoraalka-u-muuqaalka ah (Imagen) inuu soo saaro sawiro ku filan si loo abuuro muunad matale ah.
Sidee Dreamfusion u fulisaa tan?
Dreamfusion waxay si fudud wax uga beddeleysaa soo-gelinta soo-gelinta si loo gaaro xaglaha loogu talagalay. Tusaale ahaan, waxaan ku gaari karnaa xaglo sare annagoo ku dhejineyno "aragti sare" isla markiiba. Waxaan dhalin karnaa xaglo kale annagoo ku lifaaqna weedho ay ka mid yihiin "aragti hore", "aragti dhinaca", iyo "aragti dambe".
Muuqaallada si isdaba joog ah ayaa looga soo bandhigaa boosaska kamaradaha random. Wax-qabadyadani waxay markaas maraan shaqo-luminta dhibcaha. Habka soo degitaanka fudud ayaa si tartiib tartiib ah u wanaajin doona Moodeelka 3D ilaa ay la jaanqaado goobta uu qoraalku tilmaamay.
Marka aan soo bandhigno qaabka 3D annagoo adeegsanayna NeRF, waxaan isticmaali karnaa Maareynta Cubes algorithm si loo soo saaro mesh 3D ee moodelkeena. Shabakaddan waxa loo soo dhoofin karaa soo-bandhigayaasha 3D ee caanka ah ama sooftiweerka qaabaynta.
Xaddidaadda
In kasta oo wax-soo-saarka DreamFusion uu yahay mid cajiib ah oo ku filan tan iyo markii ay u adeegsato moodooyinka fidinta qoraalka-ilaa-image ee jira qaab cusub, cilmi-baarayaashu waxay xuseen dhowr xaddidaad.
Shaqada luminta SDS ayaa la arkay si ay u soo saarto natiijooyin aad loo dheregsan yahay. Waxaad tan ku ilaalin kartaa midabaynta aan dabiiciga ahayn iyo la'aanta tafaasiisha saxda ah ee laga helay natiijooyinka.
Algorithm-ka DreamFusion sidoo kale waxaa xaddiday xallinta soo-saarka qaabka Imagen, kaas oo ah 64 x 64 pixels. Tani waxay keenaysaa in moodooyinka la isku daray ay ka maqan yihiin tafaasiil fiican.
Ugu dambeyntii, cilmi-baarayaashu waxay xuseen in ay jirto caqabad ku jirta isku-dhafka moodooyinka 3D ee xogta 2D. Waxaa jira noocyo badan oo 3D ah oo suurtagal ah oo aan ka dhalin karno sawirro 2D ah, taas oo ka dhigaysa tayaynta mid adag oo xitaa madmadow.
Ugu Dambeyn
Soo bandhigida DreamFusion's 3D si fiican ayey u shaqeysaa sababtoo ah awooda moodooyinka faafinta qoraalka-ka-sawir si ay u abuuraan shay kasta ama goob kasta. Waa wax cajiib ah sida shabakada neerfaha ay u fahmi karto goobta booska 3D iyada oo aan la helin xogta tababarka 3D. Waxaan ku talinayaa inaad akhrido warqad oo dhan si aad wax badan uga ogaato faahfaahinta farsamada ee DreamFusion algorithm.
Waxaan rajeyneynaa, tignoolajiyadani inay horumarin doonto si ay ugu dambeyntii u abuurto moodooyinka 3D-sawir-dhabta ah. Bal qiyaas ciyaaraha fiidyaha oo dhan ama jilitaannada isticmaala bay'adaha AI-abuuray. Waxay hoos u dhigi kartaa xannibaadda gelitaanka soo-saareyaasha ciyaaraha fiidyaha si ay u abuuraan adduunyo 3D-gaaban!
Doorkee ayaad u malaynaysaa moodooyinka qoraalka-u-3D inay ciyaari doonaan mustaqbalka?
Leave a Reply