Ni awọn ọdun aipẹ, awọn awoṣe ipilẹṣẹ ti a pe ni “awọn awoṣe kaakiri” ti di olokiki pupọ, ati pẹlu idi to dara.
Agbaye ti rii kini awọn awoṣe itọka le ni agbara, gẹgẹ bi awọn GAN ti o ga julọ lori iṣelọpọ aworan, o ṣeun si yiyan awọn atẹjade ala-ilẹ diẹ ti a tẹjade ni awọn ọdun 2020 & 2021.
Laipẹ awọn oṣiṣẹ ṣe rii lilo awọn awoṣe itankale ni DALL-E2, Awoṣe ẹda aworan ti OpenAI ti a tẹjade ni oṣu to kọja.
Ọpọlọpọ awọn oṣiṣẹ Ẹkọ Ẹrọ jẹ laiseaniani iyanilenu nipa awọn iṣẹ inu ti Awọn awoṣe Itankale ti a fun ni aṣeyọri ti aṣeyọri aipẹ wọn.
Ninu ifiweranṣẹ yii, a yoo wo awọn ipilẹ imọ-jinlẹ ti Awọn awoṣe Itankale, apẹrẹ wọn, awọn anfani wọn, ati pupọ diẹ sii. Jẹ ki a lọ.
Kini awoṣe Itankale?
Jẹ ki a bẹrẹ nipa sisọ idi ti awoṣe yii fi tọka si bi awoṣe itankale.
Ọrọ kan ti o ni ibatan si thermodynamics ni awọn kilasi fisiksi ni a pe ni itankale. Eto kan ko si ni iwọntunwọnsi ti o ba wa ni ifọkansi nla ti ohun elo kan, bii lofinda, ni ipo kan.
Itankale gbọdọ waye fun eto lati tẹ iwọntunwọnsi. Awọn ohun elo ti lofinda tan kaakiri jakejado eto lati agbegbe ti ifọkansi ti o ga julọ, ṣiṣe eto ni iṣọkan jakejado.
Ohun gbogbo bajẹ di isokan nitori itankale.
Awọn awoṣe itankale jẹ itara nipasẹ ipo iwọntunwọnsi thermodynamic yii. Awọn awoṣe itankale lo ẹwọn Markov kan, eyiti o jẹ lẹsẹsẹ awọn oniyipada nibiti iye oniyipada kọọkan gbarale ipo ti iṣẹlẹ iṣaaju.
Yiya aworan kan, a ni aṣeyọri ṣafikun iye ariwo kan pato si rẹ ni gbogbo akoko itankale siwaju.
Lẹhin titoju aworan alariwo, a tẹsiwaju lati ṣẹda aworan ti o tẹle ninu jara nipa iṣafihan ariwo afikun.
Ni ọpọlọpọ igba, ilana yii ni a ṣe. Aworan ariwo funfun kan ni abajade lati tun ọna yii ṣe ni igba diẹ.
Bawo lẹhinna a ṣe le ṣẹda aworan kan lati aworan ti o ni idamu yii?
Ilana itankale ti wa ni ifasilẹ awọn lilo a Nẹtiwọki ti nhu. Awọn nẹtiwọọki kanna ati awọn iwuwo kanna ni a lo ninu ilana itankale sẹhin lati ṣẹda aworan lati t si t-1.
Dipo ki nẹtiwọọki naa ṣe ifojusọna aworan naa, ọkan le gbiyanju lati ṣe asọtẹlẹ ariwo ni igbesẹ kọọkan, eyiti o ni lati yọkuro lati aworan naa, lati le mu iṣẹ naa rọrun siwaju sii.
Ni eyikeyi ohn, awọn nkankikan nẹtiwọki design gbọdọ yan ni ọna ti o ṣetọju iwọn data.
Dive sinu Diffusion Awoṣe
Awọn ẹya ara ẹrọ ti awoṣe itọka jẹ ilana siwaju (ti a tun mọ ni ilana itọka), ninu eyiti datum kan (nigbagbogbo aworan) ti n pariwo diẹ sii, ati ilana iyipada (ti a tun mọ ni ilana iyipada iyipada), ninu eyiti ariwo jẹ. yipada pada sinu apẹẹrẹ lati pinpin ibi-afẹde.
Nigbati ipele ariwo ba lọ silẹ to, awọn Gaussians ni àídájú le ṣee lo lati fi idi awọn iyipada pq iṣapẹẹrẹ ni ilana siwaju. Irọrun paramita ti ilana siwaju awọn abajade lati sisọpọ imọ yii pẹlu arosinu Markov:
q(x1:T |x0):=YT t=1q(xt|xt−1),q(xt|xt-1):= N (xt; p 1 - βtxt-1, βtI)
nibi Ọdun 1….T jẹ iṣeto iyatọ (boya kọ ẹkọ tabi ti o wa titi) ti o ṣe idaniloju, fun T ti o ga to, xT jẹ fere Gaussian isotropic.
Ilana idakeji ni ibi ti idan awoṣe itankale ṣẹlẹ. Awoṣe naa kọ ẹkọ lati yiyipada ilana itankale yii lakoko ikẹkọ lati le gbe data tuntun jade. Awoṣe kọ ẹkọ pinpin apapọ bi (x0:T) abajade ti bẹrẹ pẹlu idogba ariwo Gaussian mimọ
(xT):=N(xT,0,I).
pθ(x0:T):= p(xT ) YT t=1 pθ(xt−1|xt), pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ( xt, t))
ibi ti Gaussian awọn itejade 'akoko-ti o gbẹkẹle sile ti wa ni awari. Ni pataki, ṣe akiyesi bii ilana agbekalẹ Markov ṣe sọ pe ipinfunni iyipada iyipada ti a fun ni da lori iyasọtọ lori awọn akoko iṣaaju (tabi awọn akoko atẹle, da lori bii o ṣe wo):
pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ(xt, t))
Ikẹkọ awoṣe
Awoṣe Markov yiyipada ti o mu iṣeeṣe data ikẹkọ pọ si ni a lo lati ṣe ikẹkọ awoṣe itankale. Sọ ni adaṣe, ikẹkọ jẹ afọwọṣe si idinku aropin iyatọ oke lori iṣeeṣe log odi.
E [- log pθ(x0)] ≤ Eq - log pθ(x0:T ) q(x1:T |x0) = Eq − log p(xT ) - X t≥1 log pθ(xt−1|xt) q (xt|xt−1) =: L
si dede
Ni bayi a nilo lati pinnu bi a ṣe le ṣiṣẹ Awoṣe Itankale wa lẹhin ti iṣeto awọn ipilẹ mathematiki ti iṣẹ ibi-afẹde wa. Ipinnu kan ṣoṣo ti o nilo fun ilana siwaju ni ṣiṣe ipinnu iṣeto iyatọ, eyiti awọn iye rẹ dide nigbagbogbo lakoko ilana naa.
A ronu ni pataki nipa lilo paramita pinpin Gaussian ati faaji awoṣe fun ilana yiyipada.
Ipo kanṣoṣo ti apẹrẹ wa ni pe mejeeji titẹ sii ati iṣelọpọ ni awọn iwọn kanna. Eyi ṣe afihan iwọn nla ti ominira ti Awọn awoṣe Itankale pese.
Ni isalẹ, a yoo lọ sinu ijinle nla nipa awọn aṣayan wọnyi.
Ilana siwaju
A gbọdọ pese iṣeto iyatọ ni ibatan si ilana siwaju. A ṣeto wọn ni pataki lati jẹ awọn iduro ti o gbẹkẹle akoko ati aibikita o ṣeeṣe pe wọn le kọ ẹkọ. A chronological iṣeto lati
β1 = 10-4 si βT = 0.02.
Lt di ibakan pẹlu ọwọ si eto awọn aye ti a kọ ẹkọ nitori iṣeto iyatọ ti o wa titi, gbigba wa laaye lati kọju rẹ lakoko ikẹkọ laibikita awọn iye pato ti a yan.
Yiyipada Ilana
Bayi a lọ lori awọn ipinnu ti o nilo lati ṣalaye ilana iyipada. Ranti bi a ṣe ṣe apejuwe awọn iyipada Markov pada bi Gaussian:
pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ(xt, t))
Bayi pe a ti ṣe idanimọ awọn iru iṣẹ ṣiṣe. Bíótilẹ o daju wipe o wa ni o wa siwaju sii intricate imuposi lati parameterize, a kan ṣeto
Σθ(xt, t) = σ 2 t I
σ 2 t = βt
Lati fi sii ni ọna miiran, a ṣe akiyesi Gaussian multivariate lati jẹ abajade ti awọn Gaussians ọtọtọ pẹlu iyatọ kanna, iye iyatọ ti o le yipada ni akoko. Awọn iyapa wọnyi ti ṣeto lati baramu akoko ti awọn iyapa ilana firanšẹ siwaju.
Bi abajade agbekalẹ tuntun yii, a ni:
pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ(xt, t)):=N (xt−1; µθ (xt, t), σ2 t I)
Eyi ṣe abajade ni iṣẹ isonu omiiran ti o han ni isalẹ, eyiti awọn onkọwe rii lati gbejade ikẹkọ deede diẹ sii ati awọn abajade to gaju:
Rọrun (θ): = Ati, x0, h - θ ( √ α aktx0 + √ 1 - α, t) 2
Awọn onkọwe tun fa awọn asopọ laarin agbekalẹ yii ti awọn awoṣe itọka ati awọn awoṣe ipilẹṣẹ ti o baamu ti Langevin. Gẹgẹbi pẹlu idagbasoke ominira ati afiwera ti fisiksi kuatomu ti o da lori igbi ati awọn ẹrọ ẹrọ kuatomu ti o da lori matrix, eyiti o ṣafihan awọn agbekalẹ afiwera meji ti awọn iyalẹnu kanna, o han pe Awọn awoṣe Itankale ati Awọn awoṣe Ipilẹ Dimegilio le jẹ awọn ẹgbẹ meji ti owo kanna.
Itọnisọna nẹtiwọki
Bíótilẹ o daju pe iṣẹ isonu isonu wa ni ero lati kọ awoṣe kan Σθ, a ko tun pinnu lori faaji awoṣe yii. Pa ni lokan pe awoṣe nìkan ni lati ni titẹ sii kanna ati awọn iwọn iṣelọpọ.
Fi fun idiwọ yii, o ṣee ṣe kii ṣe airotẹlẹ pe awọn ile-iṣọ U-Net-bii ni a lo nigbagbogbo lati ṣẹda awọn awoṣe itankale aworan.
Awọn ayipada lọpọlọpọ ni a ṣe ni ipa ọna ti ilana yiyipada lakoko lilo awọn ipinpinpin Gaussian alafojusi. Ranti pe ibi-afẹde ti ilana yiyipada ni lati ṣẹda aworan ti o ni awọn iye piksẹli odidi. Ṣiṣe ipinnu awọn iṣeeṣe ọtọtọ (log) fun iye ẹbun kọọkan ti o pọju lori gbogbo awọn piksẹli jẹ pataki.
Eyi ni ṣiṣe nipasẹ yiyan oluyipada ọtọtọ ọtọtọ si iyipada iyipada ti o kẹhin. iṣiro anfani ti aworan kan x0 fifun x1.
pθ(x0|x1) = YD i=1 Z δ+(xi 0 ) δ−(xi 0) N (x; µ i θ (x1, 1), σ2 1 ) dx
δ+(x) = ∞ ti x = 1 x + 1 255 ti x <1 δ−(x) = -∞ ti x = -1 x - 1 255 ti x> -1
nibi ti superscript Mo n tọka si isediwon ti ọkan ipoidojuko ati D tọkasi awọn nọmba ti mefa ninu awọn data.
Ibi-afẹde ni aaye yii ni lati ṣe agbekalẹ iṣeeṣe ti iye odidi kọọkan fun ẹbun kan pato ti a fun pinpin awọn iye agbara fun ẹbun yẹn ni akoko-iyipada. t=1.
Idi Ipari
Awọn abajade ti o ga julọ, ni ibamu si awọn onimọ-jinlẹ, wa lati asọtẹlẹ paati ariwo ti aworan ni awọn akoko kan. Ni ipari, wọn lo ibi-afẹde wọnyi:
Rọrun (θ): = Ati, x0, h - θ ( √ α aktx0 + √ 1 - α, t) 2
Ni aworan atẹle, ikẹkọ ati awọn ilana iṣapẹẹrẹ fun awoṣe itankale wa ni a fihan ni ṣoki:
Awọn anfani ti Awoṣe Itankale
Gẹgẹbi a ti tọka tẹlẹ, iye iwadi lori awọn awoṣe itankale ti pọ si laipẹ. Awọn awoṣe Itankale ni bayi ṣafihan didara aworan ti Ipinle-ti-Aworan ati pe o ni atilẹyin nipasẹ thermodynamics ti kii ṣe iwọntunwọnsi.
Awọn awoṣe Itankale n pese ọpọlọpọ awọn anfani miiran ni afikun si nini didara aworan gige-eti, bii ko nilo ikẹkọ ọta.
Awọn abawọn ti ikẹkọ adversarial jẹ olokiki pupọ, nitorinaa o jẹ ayanfẹ nigbagbogbo lati yan awọn omiiran ti kii ṣe alatako pẹlu iṣẹ deede ati imunadoko ikẹkọ.
Awọn awoṣe itankale tun pese awọn anfani ti iwọn ati parallelizability ni awọn ofin ti imunadoko ikẹkọ.
Botilẹjẹpe Awọn awoṣe Itankale han lati ṣe awọn abajade ti o dabi ẹni pe ko si afẹfẹ tinrin, ipilẹ fun awọn abajade wọnyi ni a gbe kalẹ nipasẹ nọmba awọn ipinnu mathematiki ti o nifẹ ati awọn arekereke, ati awọn iṣe ti o dara julọ ti ile-iṣẹ tun wa ni idagbasoke.
ipari
Ni ipari, awọn oniwadi ṣe afihan awọn awari iṣakojọpọ aworan ti o ni agbara giga ni lilo awọn awoṣe iṣeeṣe itankale, kilasi kan ti awọn awoṣe oniyipada wiwaba ti o ni itara nipasẹ awọn imọran lati inu thermodynamics ti ko ni iwọn.
Wọn ti ṣaṣeyọri awọn ohun nla ti o ṣeun si awọn abajade Ipinle-ti-ti-Aworan wọn ati ikẹkọ ti kii ṣe ọta ati fifun ọmọ ikoko wọn, awọn ilọsiwaju diẹ sii le ni ifojusọna ni awọn ọdun ti n bọ.
Ni pataki, o ti ṣe awari pe awọn awoṣe itankale jẹ pataki si iṣẹ ṣiṣe ti awọn awoṣe ilọsiwaju bii DALL-E 2.
nibi o le wọle si awọn pipe iwadi.
Fi a Reply