I nga tau kua pahure ake nei, kua kaha ake te rongonui o nga tauira whakatipuranga e kiia nei he "tauira tohatoha", me te whai take pai.
Kua kitea e te ao he aha nga tauira whakamaarama, penei i te pai ake o nga GAN i runga i te whakahiato pikitia, he mihi ki etahi panui tohu whenua i whakaputaina i nga tau 2020 me 2021.
I kite nga tohunga i te whakamahinga o nga tauira whakamaarama i roto DALL-E2, Ko te tauira hanga whakaahua a OpenAI i whakaputaina i tera marama.
He maha nga Kaiako Miihini e tino mohio ana ki nga mahi o roto o nga Tauira Diffusion i runga i to ratau angitu angitu.
I roto i tenei pou, ka titiro tatou ki nga kaupapa kaupapa o nga Tauira Diffusion, o raatau hoahoa, o raatau painga, me te maha atu. Me haere tatou.
He aha te tauira Diffusion?
Me timata ma te whakaaro he aha tenei tauira i kiia ai he tauira whakamaarama.
Ko te kupu e pa ana ki te thermodynamics i roto i nga akomanga ahupūngao ka kiia ko te diffusion. Karekau te punaha i te taurite mena he nui te kukū o tetahi rawa, penei i te kakara, ki te waahi kotahi.
Me puta te tohatoha kia uru te punaha ki te taurite. Ko nga ngota ngota o te kakara ka horapa puta noa i te punaha mai i te rohe o te kukū teitei ake, ka noho rite te punaha puta noa.
I te mutunga ka noho rite nga mea katoa na te tohatoha.
Ko nga tauira whakamaoritanga e whakahihiri ana e tenei ahuatanga kore-taurite-hangarau. Ka whakamahia e nga tauira whakamaoritanga he mekameka Markov, he raupapa taurangi e whakawhirinaki ana te uara o ia taurangi ki te ahua o te takahanga o mua.
Ma te tango pikitia, ka taapirihia he haruru ki roto puta noa i te wahanga whakamaarama whakamua.
Whai muri i te penapena i te ahua ngangau, ka haere tonu taatau ki te hanga i te ahua o muri mai i te raupapa ma te whakauru i etahi atu haruru.
He maha nga wa, ka mahia tenei tikanga. He pikitia haruru parakore ka puta mai i te tukurua i tenei tikanga mo etahi wa.
Na me pehea e taea ai e tatou te hanga pikitia mai i tenei ahua kapi?
Ka whakatakahia te tukanga tohatoha ma te whakamahi i te a te whatunga taiao. Ka whakamahia nga kupenga me nga taumahatanga rite i roto i te tukanga whakamaaratanga whakamuri hei hanga pikitia mai i te t ki te t-1.
Engari ki te tuku i te whatunga ki te tatari i te pikitia, ka taea e tetahi te ngana ki te matapae i te haruru i ia hikoinga, me tango atu i te ahua, kia ngawari ake ai te mahi.
I tetahi ahuatanga, ko te hoahoa whatunga neural me whiriwhiri ma te pupuri i te rahinga raraunga.
Ruku Hohonu ki te Tauira Torangaranga
Ko nga waahanga o te tauira whakamaarama he tukanga whakamua (e mohiotia ana ano ko te tukanga diffusion), ka haruru haeretia te datum (he ahua tonu te ahua) me te tukanga whakamuri (e mohiotia ana ko te tukanga diffusion whakamuri), ka haruru te haruru. ka huri ano ki te tauira mai i te tohatoha whaainga.
Ka iti te taumata haruru, ka taea te whakamahi i nga Gaussians here ki te whakarite i nga whakawhitinga mekameka tauira i roto i te mahi whakamua. Ko te tawhā ngawari o te tukanga whakamua ka puta mai i te hono i tenei matauranga ki te whakapae a Markov:
q(x1:T |x0) := YT t=1 q(xt|xt−1), q(xt|xt−1) := N (xt; p 1 − βtxt−1, βtI)
Here kotahi….Ko te T he rarangi rereke (he ako, he mea pumau ranei) e whakapumau ana, mo te T tino tiketike, ko te xT he Gaussian isotropic.
Ko te tikanga rereke ko te waahi ka puta te makutu tauira whakamaoritanga. Ka ako te tauira ki te whakahuri i tenei tukanga whakamaarama i te wa e whakangungu ana kia puta he raraunga hou. Ka ako te tauira i te tohatoha tahi hei (x0:T) te hua o te timatatanga ki te wharite haruru parakore o Gaussian
(xT):=N(xT,0,I).
pθ(x0:T ) := p(xT ) YT t=1 pθ(xt−1|xt), pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ( xt, t))
kei reira ka kitea nga tawhā e whakawhirinaki ana ki te wa o nga whakawhitinga Gaussian. Ina koa, tirohia te ahua o te whakatakotoranga a Markov e kii ana ko te tohatoha whakawhiti whakamaoritanga whakamuri ka whakawhirinaki anake ki te waaahi o mua (me te waahi o muri mai ranei, i runga i to titiro ki reira):
pθ(xt−1|xt) := N (xt−1; µθ (xt, t), Σθ(xt, t))
Whakangungu Tauira
Ko te tauira Markov whakamuri e whakanui ana i te tupono o nga raraunga whakangungu ka whakamahia hei whakangungu i tetahi tauira whakamaarama. Ko te tikanga, he rite te whakangungu ki te whakaiti i te herenga rereke o runga i runga i te tūponotanga rangitaki kino.
E [− rangitaki pθ(x0)] ≤ Eq − rangitaki pθ(x0:T ) q(x1:T |x0) = Eq − rangitaki p(xT ) − X t≥1 rangitaki pθ(xt−1|xt) q (xt|xt−1) =: L
tauira
Inaianei me whakatau tatou me pehea te mahi i ta tatou Tauira Whakawhitiwhiti i muri i te whakaturanga i nga turanga pangarau o ta tatou mahi whainga. Ko te whakatau anake e hiahiatia ana mo te tukanga whakamua ko te whakatau i te raarangi rerekee, ka piki ake ona uara i te wa o te mahi.
Ka kaha whakaaro matou ki te whakamahi i te tawhā tohatoha Gaussian me te hoahoanga tauira mo te tikanga whakamuri.
Ko te tikanga anake o ta maatau hoahoa he rite tonu te rahi o te whakauru me te putanga. Ka tohu tenei i te tino nui o te herekoretanga e whakaratohia ana e nga Tauira Diffusion.
Kei raro nei, ka hohonu ake taatau mo enei whiringa.
Tukanga Whakamua
Me whakarato e matou te rarangi rereke e pa ana ki te tukanga whakamua. I tautuhia e matou kia rite ki nga wa e whakawhirinaki ana ki te waa me te kore e aro ki te tupono ka taea te ako. He rarangi wa mai i
β1 = 10−4 ki te βT = 0.02.
Lt ka noho rite tonu mo o taatau huinga tawhā ako na runga i te raarangi rerekee kua whakaritea, ka taea e taatau te wareware i te waa whakangungu ahakoa nga uara motuhake kua tohua.
Tukanga Whakamuri
Inaianei ka tirohia e matou nga whakatau e hiahiatia ana hei tautuhi i te tukanga whakamuri. Kia mahara ki ta matou korero i nga whakawhitinga whakamuri a Markov hei Gaussian:
pθ(xt−1|xt) := N (xt−1; µθ (xt, t), Σθ(xt, t))
Inaianei kua tautuhia e matou nga momo mahi. Ahakoa te mea he maha atu nga tikanga uaua ki te tawhā, ka whakatakotoria noa e matou
Σθ(xt, t) = σ 2 t I
σ 2 t = βt
Ki te whakahua i tetahi atu huarahi, ka whakaarohia e matou ko te Gaussian multivariate ko te hua o nga Gaussians motuhake me te rereke rereke, he uara rereke ka taea te rereke i te wa. Kua tautuhia enei rereke ki te whakarite i te waataka o nga wehenga tukanga whakamua.
Ko te hua o tenei hanga hou, kei a matou:
pθ(xt−1|xt) := N (xt−1; µθ (xt, t), Σθ(xt, t)):=N (xt−1; µθ (xt, t), σ2 t I)
Ko te hua tenei ko te mahi mate rereke e whakaatuhia ana i raro nei, i kitea e nga kaituhi ki te whakaputa whakangungu rite tonu me nga hua pai ake:
Lmaama(θ) := Et,x0, h − θ( √ α¯tx0 + √ 1 − α¯t, t) 2
Ka tuhia hoki e nga kaituhi nga hononga i waenga i tenei whakatakotoranga o nga tauira whakamaarama me nga tauira whakangao piro-whakarite a Langevin. Pērā i te whanaketanga motuhake me te whakarara o te ahupūngao ā-ngaru me te rehe-a-matrix-based quantum, i kitea e rua nga whakatakotoranga rite o nga ahuatanga rite, ko te ahua ko nga Tauira Whakawhitiwhiti me nga tauira I runga i te Tohu ka taea te rua taha o te moni kotahi.
Hangarau Whatunga
Ahakoa te mea e whai ana ta maatau mahi ngaronga ki te whakangungu i tetahi tauira Σθ, kaore ano matou kia whakatau mo te hoahoanga o tenei tauira. Kia maumahara ko te tauira me rite nga rahinga whakauru me nga waahanga whakaputa.
I runga i tenei herenga, kaore pea i te ohorere ka whakamahia nga hoahoanga penei i te U-Net ki te hanga tauira whakamaarama pikitia.
He maha nga huringa ka mahia i te huarahi o te mahi whakamuri i te wa e whakamahi ana i nga tohatoha Gaussian herenga tonu. Kia maumahara ko te whainga o te tikanga whakamuri ko te hanga pikitia i hanga mai i nga uara pika tauoti. Ko te whakatau i nga tuuponotanga (takiuru) mo ia uara pika pea mo nga pika katoa he mea tika.
Ka tutuki tenei ma te tautapa i tetahi wetewaehere motuhake ki te whakawhitinga whakamutunga o te mekameka whakamaarama whakamuri. te whakatau tata i te tupono o tetahi ahua x0 hoatu x1.
pθ(x0|x1) = YD i=1 Z δ+(xi 0 ) δ−(xi 0 ) N (x; µ i θ (x1, 1), σ2 1 ) dx
δ+(x) = ∞ ki te x = 1 x + 1 255 ki te x < 1 δ−(x) = −∞ ki te x = −1 x − 1 255 ki te x > −1
ko te kupu matua I tohu i te tangohanga o tetahi taunga me te D e tohu ana i te maha o nga inenga o te raraunga.
Ko te whainga i tenei wa ko te whakarite i te tupono o ia uara tauoti mo tetahi pika motuhake i te tohatoha o nga uara pea mo taua pika i roto i te rereke-wa. t=1.
Whainga Whakamutunga
Ko nga hua nui rawa atu, e ai ki nga kaiputaiao, i puta mai i te matapae i te wahanga haruru o tetahi pikitia i etahi waa. I te mutunga, ka whakamahia e raatau nga whaainga e whai ake nei:
Lmaama(θ) := Et,x0, h − θ( √ α¯tx0 + √ 1 − α¯t, t) 2
I roto i te ahua e whai ake nei, ko nga tikanga whakangungu me te tauira tauira mo ta maatau tauira whakamaarama he whakaahua poto:
Nga Painga o te Tauira Whakawhitiwhiti
Ka rite ki te korero i mua ake nei, kua piki ake te nui o nga rangahau mo nga tauira tohatoha. Ka tukuna e nga Tauira Diffusion inaianei te kounga o te ahua-a-te-Toi, a, he mea whakaawe e te thermodynamics kore-equilibrium.
Ko nga Tauira Diffusion he maha atu nga painga i tua atu i te kounga o te pikitia, penei i te kore whakangungu a te hoariri.
Ko nga ngoikoretanga o te whakangungu a te hoariri e mohiotia ana, no reira he pai ake te kowhiri i nga momo mahi kore-hoariri he rite te mahi me te whaihua whakangungu.
Ko nga tauira whakamaaramatanga e whakarato ana i nga painga o te tauineine me te whakarara i runga i te whai huatanga o te whakangungu.
Ahakoa te ahua o nga Tauira Diffusion ki te whakaputa hua mai i te rangi angiangi, ko te putake o enei hua ka whakatakotohia e te maha o nga whakatau pangarau whai whakaaro me te whakahihiri, me nga mahi hianga, kei te whanake tonu nga tikanga pai o te ahumahi.
Opaniraa
Hei whakamutunga, ka whakaatu nga kairangahau i nga kitenga whakahiato pikitia kounga teitei e whakamahi ana i nga tauira tuparapara, he karaehe o nga tauira taurangi huna e whakahihikohia ana e nga whakaaro mai i te hauhautanga o te taurite kore.
He nui nga mea kua tutuki i a raatau na o raatau huanga-a-te-toi me o raatau whakangungu kore-hoariri me te mea i o raatau tamarikitanga, ka nui ake pea nga ahunga whakamua i roto i nga tau kei te heke mai.
Ina koa, kua kitea he mea tino nui nga tauira whakamaoritanga ki te mahi o nga tauira matatau penei i te DALL-E 2.
Here ka taea e koe te uru ki te rangahau oti.
Waiho i te Reply