Sanadihii la soo dhaafay, moodooyinka wax soo saarka ee loo yaqaan "qaababka fidinta" ayaa noqday kuwo caan ah, oo leh sabab wanaagsan.
Dunidu waxay aragtay waxa moodooyinka faafintu ay awoodaan, sida ka wanajinta GANs ee sawir-samaynta, taas oo ay ugu wacan tahay dhawr daabacaadood oo taariikhi ah oo la doortay oo keliya oo la daabacay 2020s & 2021s.
Dhakhaatiirta ayaa dhowaan arkay isticmaalka moodooyinka fidinta DALL-E2, Qaabka abuurka sawirka OpenAI ee la daabacay bishii hore.
Qaar badan oo ka mid ah xirfadlayaasha Barashada Mashiinka ayaa shaki la'aan aad u xiiseynaya shaqada gudaha ee Moodooyinka Faafinta marka loo eego guusha ay dhowaan gaareen.
Maqaalkan, waxaan ku eegi doonaa fikradaha aasaasiga ah ee Models Diffusion, naqshadooda, faa'iidooyinkooda, iyo qaar kaloo badan. Aan tagno.
Waa maxay qaabka Diffusion?
Aan ku bilowno in aan ogaano sababta moodelkan loogu yeero qaabka fidinta.
Eray la xidhiidha thermodynamics ee fasallada fiisigiska waxa loo yaqaan faafin. Nidaamku kuma jiro dheellitirnaan haddii ay jirto uruurin weyn oo walxo ah, sida caraf udgoon, oo hal meel ah.
Faafintu waa inay dhacdaa si nidaamku u galo dheellitirka. Unugyada udugga waxay ku faafaan nidaamka oo dhan iyagoo ka yimid gobol aad u sarreeya, taasoo ka dhigaysa nidaamka mid isku mid ah oo dhan.
Wax kasta oo ugu dambeyntii noqda isku mid sababtoo ah faafitaanka.
Moodooyinka faafinta waxaa dhiirigeliyay xaaladdan heerkulbeegga ah ee aan dheellitirka lahayn. Moodooyinka faafinta waxay adeegsadaan silsiladda Markov, taasoo ah doorsoomayaal taxane ah halkaasoo doorsoome kasta qiimahiisu uu ku tiirsan yahay xaaladda dhacdadii hore.
Qaadashada sawir, waxaanu si isdaba joog ah ugu darnaa qadar gaar ah oo qaylo ah inta lagu jiro marxaladda fidinta hore.
Ka dib markii aan kaydinay sawirka qaylada, waxaan sii wadeynaa inaan abuurno sawirka xiga ee taxanaha anagoo soo bandhigayna buuq dheeraad ah.
Dhowr jeer, habkan waa la sameeyaa. Sawir sanqadh saafi ah ayaa ka dhasha ku celcelinta habkan dhawr jeer.
Sideen markaa sawir uga samayn karnaa sawirkan isku buuqsan?
Hannaanka fidinta waxaa dib loogu noqdaa iyadoo la isticmaalayo a shabakada neuralada. Shabakado isku mid ah iyo miisaan isku mid ah ayaa loo isticmaalaa habka faafinta gadaal si loo abuuro sawirka t ilaa t-1.
Halkii ay shabakadu u ogolaan lahayd in ay saadaaliso sawirka, qofku wuxuu isku dayi karaa inuu saadaaliyo qaylada tallaabo kasta, taas oo ah in laga saaro sawirka, si loo fududeeyo hawsha.
Xaalad kasta, naqshadeynta shabakada neerfaha waa in lagu doortaa hab ilaalinaya cabbirka xogta.
Qoto dheer u gal Model Faafin
Qaybaha qaabka fidintu waa geedi socod hore (sidoo kale loo yaqaan habka fidinta), kaas oo datum (inta badan sawirka) si tartiib tartiib ah loo dhawaaqo, iyo habka dib-u-celinta (oo sidoo kale loo yaqaan habka dib-u-celinta), kaas oo buuqu yahay dib loogu beddelay muunad ka yimid qaybinta bartilmaameedka.
Marka heerka sanqadhigu uu hooseeyo oo ku filan, shuruudaha Gaussians ayaa loo isticmaali karaa in lagu dhiso kala-guurka silsiladda muunad ee habka hore. Si fudud u cabbiridda habka hore waxa ka dhasha isku-xidhka aqoontan iyo malo-awaalka Markov:
q(x1:T |x0):= YT t=1 q(xt|xt−1),q(xt|xt-1):= N (xt; p 1 - βtxt-1, βtI)
Halkan shan….T waa jadwal kala duwanaansho (ama la bartay ama mid go'an) kaas oo hubinaya, ku filan T, in xT uu yahay Gaussian isotropic ah.
Habka ka soo horjeeda ayaa ah meesha sixirka qaabka faafinta uu ka dhaco. Qaabku wuxuu bartaa inuu beddelo habkan faafinta muddada tababarka si uu u soo saaro xog cusub. Qaabku wuxuu u bartaa qaybinta wadajirka ah sida (x0:T) natiijada ka bilaabanta isla'egta qaylada Gaussian saafi ah
(xT):=N(xT,0,I).
pθ(x0:T):= p(xT) YT t=1 pθ(xt−1|xt), pθ(xt−1|xt) := N (xt−1; µθ (xt, t), Σθ( xt, t))
halkaas oo laga helay cabbirada ku-tiirsanaanta wakhtiga kala-guurka Gaussian. Gaar ahaan, u fiirso sida habaynta Markov u sheegayo in qaybinta kala-guurka kala-guurka ee kala-duwanaanshaha la bixiyay ay ku xiran tahay si gaar ah waqtiyadii hore (ama waqtiyada xiga, iyadoo ku xiran sida aad u eegto):
pθ(xt−1|xt):= N (xt-1; µθ (xt, t), Σθ(xt, t))
Tababarka Model
Qaabka kale ee Markov ee kor u qaadaya ixtimaalka xogta tababarka ayaa loo isticmaalaa in lagu tababaro qaabka fidinta. Dhaqan ahaan marka loo hadlo, tababarku waxa uu la mid yahay dhimista kala duwanaanshaha xadka sare ee itimaalka log- taban.
E [- log pθ(x0)] ≤ Eq - log pθ(x0:T) q(x1:T |x0) = Eq − log p(xT) − X t≥1 log pθ(xt−1|xt) q (xt|xt−1) =: L
daydo
Hadda waxaan u baahanahay inaan go'aan ka gaarno sidii aan u fulin lahayn Qaababka Faafinta ka dib markii aan dhidibbada u taagnay xisaabinta gundhigga hawsha hadafkeenna. Go'aanka kaliya ee loo baahan yahay geedi socodka hore waa go'aaminta jadwalka kala duwanaanshaha, kaas oo qiyamkiisu caadi ahaan kor u kaco inta lagu jiro nidaamka.
Waxaan si adag uga fiirsaneynaa isticmaalka cabbiraadda qaybinta Gaussian iyo qaab dhismeedka moodeelka habraaca kale.
Xaaladda kaliya ee naqshadeena ayaa ah in wax-soo-saarka iyo wax-soo-saarka labadaba ay leeyihiin cabbir isku mid ah. Tani waxay hoosta ka xariiqday heerka aadka u weyn ee xorriyadda ee Model Faafinta ay bixiyaan.
Hoosta, waxaan si qoto dheer u gali doonaa doorashooyinkan.
Geedi Socodka Hore
Waa in aan bixinaa jadwalka kala duwanaanshiyaha ee laxidhiidha habka hore u socodka. Waxaan si gaar ah u dhignay inay noqdaan kuwo waqti-ku-tiirsan oo aan tix-gelinay suurtagalnimada in la baran karo. Jadwal taariikhi ah oo ka yimid
β1 = 10-4 ilaa βT = 0.02.
Lt wuxuu noqdaa mid joogto ah marka loo eego jaangooyooyinka la baran karo iyada oo ay ugu wacan tahay jadwalka kala duwanaanshiyaha go'an, taas oo noo ogolaanaysa in aan ixtiraamno inta lagu jiro tababarka iyada oo aan loo eegin qiyamka gaarka ah ee la doortay.
Geedi socodka rogaal celiska ah
Hadda waxaan dulmarnay go'aannada loo baahan yahay si loo qeexo habka beddelka. Xusuusnow sida aan u sharaxnay isbeddelka Markov sida Gaussian:
pθ(xt−1|xt):= N (xt-1; µθ (xt, t), Σθ(xt, t))
Hadda waxaan aqoonsannay noocyada shaqada. In kasta oo xaqiiqda ah in ay jiraan farsamooyin aad u qallafsan si loo cabbiro, waxaan kaliya dejinay
Σθ(xt, t) = σ 2 t I
σ 2 t = βt
Si kale haddii aan u dhigo, waxaan u aragnaa Gaussian-ga kala duwan inuu yahay natiijada Gaussiyiinta kala duwan ee isku midka ah, qiimaha kala duwanaanshiyaha oo isbeddeli kara waqti ka dib. weecsanaantaan waxaa loo dejiyay inay ku haboonaato jadwalka weecsanaanta habka gudbinta.
Natiijadu waxay tahay qaabayntan cusub, waxaan leenahay:
pθ(xt−1|xt):= N (xt-1; µθ (xt, t), Σθ(xt, t)):=N (xt−1; µθ (xt, t), σ2 t I)
Tani waxay keenaysaa shaqada khasaaraha beddelka ah ee hoos lagu muujiyey, taas oo ay qorayaashu ogaadeen inay soo saaraan tababar joogto ah iyo natiijooyin sare:
Fudud (θ): = Et,x0, h − θ
Qorayaashu waxa kale oo ay sawiraan xidhiidhka ka dhexeeya qaabaynta moodooyinka faafinta iyo moodooyinka wax-soo-saarka ee ku salaysan Langevin. Si la mid ah horumarinta madaxbannaanida iyo isbarbardhigga ee fiisigiska quantum-ku-salaysan ee mowjadda iyo makaanikada tirada ku salaysan ee matrix-ku-salaysan, kuwaas oo daaha ka qaaday laba qaab oo isbarbar-dhig ah oo isku mid ah, waxay u muuqataa in Noocyada Kala-duwanaanshaha iyo moodooyinka Dhibcaha-ku-salaysan ay noqon karaan laba dhinac oo isku mid ah.
Dhismaha Network
In kasta oo xaqiiqda ah in shaqadayada khasaaraha isku urursan ay ujeeddadeedu tahay in la tababaro nooc Σθ, Wali maanu go'aansan qaab-dhismeedka moodelkan. Maskaxda ku hay in moodelku uu si fudud u leeyahay wax-soo-gelinta iyo cabbir isku mid ah.
Marka la eego xannibaaddan, waxay u badan tahay inaysan ahayn wax lama filaan ah in naqshadaha U-Net-ka oo kale ah inta badan loo isticmaalo si loo abuuro moodooyinka faafinta sawirka.
Isbeddello badan ayaa lagu sameeyaa dariiqa geeddi-socodka gadaashiis iyadoo la isticmaalayo qaybin shuruudaysan oo joogto ah. Xasuusnoow in hadafka habraaca gadaale uu yahay in la sameeyo sawir ka kooban qiyamka pixel-ka. Go'aaminta suurta galnimada (log) ee qiima kasta oo pixels ka sarreeya dhammaan pixels waa lama huraan.
Tan waxa lagu dhammeeyaa iyada oo loo qaybiyo cod-bixiye gaar ah oo kala-guurka u dambeeya ee silsiladda faafinta. qiyaasida fursada sawir gaar ah x0 la siiyey x1.
pθ(x0|x1) = YD i=1 Z δ+(xi 0 ) δ−(xi 0) N (x; µ i θ (x1, 1), σ2 1 ) dx
δ+(x) = ∞ haddii x = 1 x + 1 255 haddii x <1 δ−(x) = -∞ haddii x = -1 x - 1 255 haddii x> -1
halka qoraalka sare ee aan ku tilmaamayo soo saarista hal iskudubarid iyo D oo tilmaamaysa tirada cabbirada xogta.
Hadafka meeshan waa in la dejiyo suurtagalnimada qiimihiisu yahay shay kasta oo loogu talagalay pixel gaar ah marka loo eego qaybinta qiyamka suurtagalka ah ee pixel-kaas waqtiga-kala duwan. t=1.
Ujeedka ugu dambeeya
Natiijooyinka ugu waaweyn, sida ay qabaan saynisyahannadu, waxay ka yimaadeen saadaalinta qaybta qaylada ee sawirka waqti cayiman. Ugu dambeyntii, waxay shaqaaleeyaan yoolkan soo socda:
Fudud (θ): = Et,x0, h − θ
Sawirka soo socda, habka tababarka iyo muunadeynta qaabka fidinta ayaa si kooban loo sawiray:
Faa'iidooyinka Model Faafinta
Sida horeba loo tilmaamay, cadadka cilmi-baarista moodooyinka fidinta ayaa kordhay dhawaanahan. Moodooyinka Faafinta hadda waxay soo bandhigaan tayada sawirka ugu sarreeya waxaana dhiirigeliyay heerkulbeeg aan dheeli tirnayn.
Moodooyinka Faafinta waxay bixiyaan faa'iidooyin kale duwan oo kala duwan marka lagu daro inay leeyihiin tayada sawirka gees-goynta, sida aan u baahnayn tababar iska soo horjeeda.
Cilladaha tababbarka iska hor imaadka ayaa si weyn loo yaqaan, sidaas darteed waxaa badanaa la doorbidaa in la doorto beddelaad aan cadaw ahayn oo leh waxqabad u dhigma iyo waxtarka tababarka.
Moodooyinka faafinta waxay sidoo kale bixiyaan faa'iidooyinka miisaanka iyo isbarbardhigga marka la eego waxtarka tababarka.
In kasta oo Moodooyinka Faafinta ay u muuqdaan inay keenaan natiijooyin u muuqda inay ka baxsan yihiin hawo dhuuban, saldhigga natiijooyinkan waxaa dhigay tiro go'aanno xisaabeed oo fikir iyo xiiso leh, iyo hababka ugu wanaagsan ee warshadaha weli waa la horumarinayaa.
Ugu Dambeyn
Gebogebadii, cilmi-baarayaashu waxay soo bandhigeen natiijooyin isku dhafan sawir oo tayo sare leh iyagoo isticmaalaya moodooyinka suurtogalka ah ee faafinta, nooc ka mid ah moodooyinka doorsoome dahsoon oo ay dhiirigaliyeen fikrado ka yimid heerkulbeegyo aan dheellitirnayn.
Waxay ku guulaysteen waxyaabo aad u wanaagsan iyadoo ay ugu wacan tahay natiijooyinkooda casriga ah iyo tababarka aan cadawga ahayn oo la siiyay yaraantoodii, horumaro badan ayaa laga yaabaa in la saadaaliyo sanadaha soo socda.
Gaar ahaan, waxaa la ogaaday in moodooyinka faafintu ay muhiim u yihiin shaqeynta moodooyinka horumarsan sida DALL-E 2.
Halkan waxaad heli kartaa cilmi baarista oo dhameystiran.
Leave a Reply