N'ime afọ ndị na-adịbeghị anya, ụdị ndị na-emepụta ihe a na-akpọ "ụdị mgbasa ozi" na-aghọwanye ndị na-ewu ewu, ma nwee ezi ihe kpatara ya.
Ụwa ahụla ụdị ụdị mgbasa ozi nwere ike, dị ka GAN na-eme nke ọma na njikọ foto, ekele maka mbipụta ole na ole ahọpụtara nke ebipụtara naanị na 2020s & 2021s.
Ndị ọkachamara hụrụ n'oge na-adịbeghị anya ka ejiri ụdị mgbasa ozi dị DALL-E2, Ụdị ihe okike nke OpenAI nke e bipụtara n'ọnwa gara aga.
Ihe ịrụ ụka adịghị ya na ọtụtụ ndị na-ahụ maka mmụta igwe na-achọsi ike maka ọrụ dị n'ime nke ụdị mgbasa ozi n'ihi mmụba ha nwere na nso nso a.
N'ime ọkwa a, anyị ga-eleba anya n'usoro ihe atụ nke ụdị mgbasa ozi, imewe ha, uru ha na ọtụtụ ndị ọzọ. Ka anyị gawa.
Kedu ihe bụ Diffusion nlereanya?
Ka anyị bido site n'ịchọpụta ihe kpatara eji akpọ ihe nlereanya a dị ka ụdị mgbasa ozi.
Okwu metụtara thermodynamics na klas physics ka a na-akpọ mgbasa. Usoro adịghị na nha nha ma ọ bụrụ na enwere nnukwu ntinye ihe, dị ka isi ísì, n'otu ebe.
Mgbasa ga-adịrịrị ka sistemụ wee banye nha nha. Ụmụ irighiri ihe na-esi ísì ụtọ na-agbasa n'ime usoro ahụ dum site na mpaghara dị elu, na-eme ka usoro ahụ bụrụ otu.
Ihe niile na-emecha bụrụ otu n'ihi mgbasa.
Ụdị mgbasa ozi na-akpali site na ọnọdụ okpomọkụ a na-abụghị nha nhata. Ụdị mgbasa ozi na-eji agbụ Markov, nke bụ usoro mgbanwe ebe uru nke ọ bụla na-adabere na ọnọdụ nke ihe omume mbụ.
Na-ese foto, anyị na-agbakwunyere obere mkpọtụ na ya n'oge usoro mgbasa ozi na-aga n'ihu.
Mgbe ịchekwa ihe oyiyi noisier, anyị na-aga n'ihu ịmepụta ihe oyiyi na-esote na usoro ahụ site na iwebata mkpọtụ ọzọ.
Ọtụtụ ugboro, a na-eme usoro a. Foto mkpọtụ dị ọcha na-apụta site na ịmegharị usoro a ugboro ole na ole.
Kedu otu anyị ga-esi mepụta foto site na onyonyo a gbagọrọ agbagọ?
A na-atụgharị usoro mgbasa ozi site na iji a neural network. A na-eji otu netwọk na otu ihe dị arọ mee ihe na usoro mgbasa ozi azụ iji mepụta foto site na t ruo t-1.
Kama ikwe ka netwọk ahụ na-atụ anya foto ahụ, onye nwere ike ịnwa ịkọ ụda na nzọụkwụ ọ bụla, nke a ga-ewepụ na oyiyi ahụ, iji mee ka ọrụ ahụ dịkwuo mfe.
N'ọnọdụ ọ bụla, nke imewe netwọk akwara a ga-ahọpụtarịrị n'ụzọ na-edobe oke data.
Banye n'ime ụdị mgbasa ozi
Akụkụ nke ụdị mgbasa ozi bụ usoro n'ihu (nke a makwaara dị ka usoro mgbasa ozi), nke a na-eji nwayọọ nwayọọ na-adatum (mgbe ihe oyiyi) na-ada ụda, na usoro ntụgharị (nke a makwaara dị ka usoro ntụgharị ntụgharị), nke ụda dị na ya. tụgharịrị azụ ka ọ bụrụ nlele sitere na nkesa ebumnuche.
Mgbe ọkwa mkpọtụ ahụ dị ntakịrị, enwere ike iji Gaussians nwere ọnọdụ iji guzobe ngbanwe n'agbụ nlele n'ime usoro n'ihu. Ntugharị dị mfe nke usoro aga n'ihu na-esite na ijikọta ihe ọmụma a na echiche Markov:
q(x1:T |x0):= YT t=1q(xt|xt−1),q (xt|xt−1):= N (xt; p 1 - βtxt-1, βtI)
Ebe a 1…T bụ usoro mgbanwe (ma ọ bụ mmụta ma ọ bụ nke edoziri) nke na-emesi obi ike, maka oke T zuru oke, na xT bụ ihe Gaussian isotropic.
Usoro dị iche bụ ebe anwansi ụdị mgbasa ozi na-eme. Ihe nlereanya a na-amụta ịgbanwe usoro mgbasa ozi a n'oge ọzụzụ iji mepụta data ọhụrụ. Ihe nlereanya na-amụta nkesa nkwonkwo dị ka (x0:T) nsonaazụ nke ịmalite site na nha ụda mkpọtụ Gaussian dị ọcha
(xT):=N(xT,0,I).
pθ(x0:T):= p(xT ) YT t=1 pθ(xt−1|xt), pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ( xt, t))
ebe a na-achọpụta paramita dabere na oge Gaussian ntụgharị. Karịsịa, rịba ama ka usoro Markov si kwuo na nkesa mgbanwe mgbanwe mgbanwe na-adabere naanị na oge gara aga (ma ọ bụ oge na-esote, dabere n'otú i si ele ya):
pθ(xt−1|xt):= N (xt-1; µθ (xt, t), Σθ(xt, t))
Ọzụzụ Nlereanya
A na-eji ihe atụ azụ azụ Markov nke na-ebuli ohere nke data ọzụzụ ahụ iji zụọ ụdị mgbasa ozi. N'ikwu ya n'ụzọ ziri ezi, ọzụzụ dị ka ibelata oke dị iche iche dị elu na ohere log na-adịghị mma.
E [- log pθ(x0)] ≤ Eq - log pθ(x0:T ) q(x1:T |x0) = Eq - log p(xT ) - X t≥1 log pθ(xt−1|xt) q (xt|xt−1) =: L
ụdị
Ugbu a, anyị kwesịrị ikpebi ka anyị ga-esi mebie Model Diffusion ka anyị guzobechara mgbakọ na mwepụ nke ọrụ ebumnuche anyị. Nanị mkpebi dị mkpa maka usoro n'ihu bụ ikpebi nhazi oge, nke ụkpụrụ ya na-ebili n'oge usoro ahụ.
Anyị na-atụle nke ọma iji paramita nkesa Gaussian na ụkpụrụ ụlọ maka usoro ntụgharị.
Naanị ọnọdụ nke imewe anyị bụ na ma ntinye na mmepụta nwere otu akụkụ. Nke a na-egosi oke nnwere onwe nke Model Diffusion na-enye.
N'okpuru ebe a, anyị ga-abanye n'ime omimi banyere nhọrọ ndị a.
Usoro aga n'ihu
Anyị ga-eweta usoro mgbanwe dị iche iche gbasara usoro mbugharị. Anyị na-edobe ha ka ha bụrụ ndị na-agbanwe oge na-adabere na oge ma na-eleghara ohere na ha nwere ike ịmụta. Usoro oge site na
β1 = 10-4 ruo βT = 0.02.
Lt na-aghọ ihe na-adịgide adịgide n'ihe gbasara usoro ihe ọmụmụ nke anyị nwere ike ịmụta n'ihi nhazi oge dị iche iche, na-enye anyị ohere ileghara ya anya n'oge ọzụzụ n'agbanyeghị ụkpụrụ ahọpụtara.
Usoro ntụgharị
Ugbu a anyị na-agafe mkpebi ndị dị mkpa iji kọwaa usoro ntụgharị. Cheta otú anyị si kọwaa ntụgharị Markov dị ka Gaussian:
pθ(xt−1|xt):= N (xt-1; µθ (xt, t), Σθ(xt, t))
Ugbu a anyị achọpụtala ụdị ọrụ ahụ. N'agbanyeghị eziokwu na e nwere ndị ọzọ mgbagwoju usoro parameterize, anyị dị nnọọ ka
Σθ(xt, t) = σ 2 t I
σ 2 t = βt
N'ikwu ya n'ụzọ ọzọ, anyị na-atụle Gaussian multivariate ka ọ bụrụ ihe sitere na Gaussian dị iche iche nwere otu ọdịiche, uru dị iche iche nke nwere ike ịgbanwe oge. Adobere nhiehie ndị a ka ọ dabara n'usoro iheomume nke ndahie usoro.
N'ihi nhazi ọhụrụ a, anyị nwere:
pθ(xt−1|xt):= N (xt-1; µθ (xt, t), Σθ (xt, t)):=N (xt−1; µθ (xt, t), σ2 t I)
Nke a na-ebute ọrụ ọnwụ ọzọ egosiri n'okpuru ebe a, nke ndị edemede chọpụtara na-emepụta ọzụzụ na-agbanwe agbanwe na nsonaazụ dị elu:
Dị mfe (θ): = Et,x0, h - θ
Ndị ode akwụkwọ na-esetịpụkwa njikọ n'etiti nhazi ụdị mgbasa ozi a yana ụdị nke dabara akara dabere na Langevin. Dị ka ọ dị na mmepe onwe ya na nke yiri nke physics quantum physics na matrix dabeere na quantum mechanics, bụ nke kpughere usoro abụọ yiri nke ahụ, ọ dị ka Diffusion Models na Score-Based model nwere ike ịbụ akụkụ abụọ nke otu mkpụrụ ego.
Network Architecture
N'agbanyeghị eziokwu na anyị condensed ọnwụ ọrụ na-achọ ịzụ ihe nlereanya θ, anyị ka na-ekpebi na ihe nlereanya a architecture. Buru n'uche na ihe nlereanya ahụ ga-enwerịrị otu ntinye na mmepụta akụkụ.
Nyere mmachi a, ọ nwere ike ọ bụghị ihe a na-atụghị anya ya na a na-ejikarị ụlọ ọrụ U-Net eme ihe iji mepụta ụdị mgbasa ozi foto.
A na-eme ọtụtụ mgbanwe n'ụzọ nke usoro ntụgharị mgbe ị na-eji nkesa Gaussian ọnọdụ na-aga n'ihu. Cheta na ebumnobi nke usoro ntụgharị bụ imepụta foto mebere ụkpụrụ pikselụ integer mebere. Ịchọpụta ohere pụrụ iche (log) maka uru pikselụ ọ bụla nwere ike karịa pikselụ niile dị mkpa.
A na-arụzu nke a site n'ịkenye ihe ngbanwe dị iche iche na ngbanwe nke agbụ mgbasa azụ ikpeazụ. na-eme atụmatụ ohere nke otu onyonyo x0 nyere x1.
pθ(x0|x1) = YD i=1 Z δ+(xi 0 ) δ− (xi 0 ) N (x; µ i θ (x1, 1), σ2 1 ) dx
δ+(x) = ∞ ma x = 1 x + 1 255 ma x <1 δ−(x) = -∞ ma x = -1 x - 1 255 ma x> -1
ebe superscript m na-egosi mmịpụta nke otu nhazi na D na-egosi ọnụọgụ ọnụọgụ dị na data ahụ.
Ebumnobi n'oge a bụ ịmepụta ohere nke uru integer ọ bụla maka otu pikselụ akọwapụtara maka nkesa nke ụkpụrụ nwere ike maka pixel ahụ n'oge na-agbanwe. t=1.
Ebumnuche ikpeazụ
Nsonaazụ kacha mma, dị ka ndị ọkà mmụta sayensị si kwuo, sitere n'ịma amụma akụkụ mkpọtụ nke foto n'oge ụfọdụ. N'ikpeazụ, ha na-eji ihe mgbaru ọsọ ndị a:
Dị mfe (θ): = Et,x0, h - θ
N'onyinyo na-esote, a na-egosipụta nke ọma usoro ọzụzụ na nlele maka ụdị mgbasa ozi anyị:
Uru nke Nlereanya Mgbasa
Dị ka egosiri na mbụ, ọnụ ọgụgụ nyocha nke ụdị mgbasa ozi amụbawo n'oge na-adịbeghị anya. Modelsdị mgbasa ozi ugbu a na-ebupụta ogo onyonyo steeti na nka ma bụrụkwa mmụọ mmụọ na-enweghị nha nhata.
Ụdị mgbasa ozi na-enye ọtụtụ uru ndị ọzọ na mgbakwunye na inwe àgwà foto mara mma, dị ka achọghị ọzụzụ ndị iro.
A na-amata ihe ndọghachi azụ nke ọzụzụ mmegide, ya mere ọ na-akacha mma ịhọrọ ihe ndị ọzọ na-abụghị nke mmegide na arụmọrụ nhata na ọzụzụ ọzụzụ.
Ụdị mgbasa ozi na-enyekwa uru nke scalability na parallelizability na usoro nke ọzụzụ ọzụzụ.
Ọ bụ ezie na ụdị mgbasa ozi na-egosi na ọ na-arụpụta nsonaazụ dị ka ikuku siri ike, ihe ndabere maka nsonaazụ ndị a bụ ọtụtụ mkpebi mgbakọ na mwepụ na-eche echiche ma na-adọrọ mmasị na aghụghọ, na a ka na-emepụtakwa usoro kachasị mma nke ụlọ ọrụ.
mmechi
Na mmechi, ndị nchọpụta na-egosipụta nchoputa nhazi foto dị elu nke na-eji ụdị mgbasa ozi puru omume, otu klas nke ụdị mgbanwe latent nke echiche sitere na thermodynamics na-enweghị ike.
Ha enwetala nnukwu ihe n'ihi nsonaazụ steeti-nke na-eme nka na ọzụzụ na-abụghị nke mmegide wee nye ha nwa ọhụrụ, enwere ike ịtụ anya ọganihu ndị ọzọ n'afọ ndị na-abịa.
Karịsịa, achọpụtala na ụdị mgbasa ozi dị oke mkpa maka ọrụ nke ụdị dị elu dị ka DALL-E 2.
Ebe a ị nwere ike ịnweta nyocha zuru ezu.
Nkume a-aza