Le blianta beaga anuas, tá níos mó tóir ag teacht ar shamhlacha giniúna ar a dtugtar “samhlacha idirleata” agus le cúis mhaith.
Is léir ar fud an domhain cad is féidir le samhlacha idirleata a dhéanamh, ar nós feidhmíocht níos fearr a bhaint as GANanna ar shintéis pictiúr, a bhuí le roinnt foilseachán suntasach roghnaithe a foilsíodh díreach sna 2020í & 2021dí.
Ba le déanaí a chonaic cleachtóirí úsáid samhlacha idirleata i DALL-E2, samhail cruthú íomhá OpenAI a foilsíodh an mhí seo caite.
Níl aon dabht ach go bhfuil go leor cleachtóirí Foghlama Meaisín fiosrach faoi oibriú inmheánach Múnlaí Idirleata mar gheall ar an méadú atá tagtha ar an rath a bhí orthu le déanaí.
Sa phost seo, féachfaimid ar bhunús teoiriciúil Múnlaí Idirleata, a ndearadh, a mbuntáistí, agus go leor eile. A ligean ar dul ag dul.
Cad é an tsamhail Idirleata?
Tosaímid le fáil amach cén fáth a dtugtar samhail idirleata ar an múnla seo.
Tugtar idirleathadh ar fhocal a bhaineann le teirmidinimic i ranganna fisice. Níl córas i gcothromaíocht má tá tiúchan mór ábhair, cosúil le boladh, in aon áit amháin.
Caithfidh idirleathadh a bheith ann le go rachaidh an córas isteach sa chothromaíocht. Tá móilíní an bholadh idirleata ar fud an chórais ó réigiún de thiúchan níos airde, rud a fhágann go bhfuil an córas aonfhoirmeach ar fud an chórais.
Éiríonn gach rud aonchineálach sa deireadh mar gheall ar idirleathadh.
Tá samhlacha idirleathadh spreagtha ag an riocht neamhchothromaíochta teirmidinimiciúil seo. Úsáideann samhlacha idirleathadh slabhra Markov, ar sraith athróg é ina mbraitheann luach gach athróige ar staid an teagmhais roimhe sin.
Agus pictiúr á ghlacadh againn, cuirimid méid áirithe torainn leis i ndiaidh a chéile le linn na céime idirleathadh chun cinn.
Tar éis an íomhá níos noisier a stóráil, déanaimid ar aghaidh chun an íomhá ina dhiaidh sin a chruthú sa tsraith trí torann breise a thabhairt isteach.
Roinnt uaireanta, déantar an nós imeachta seo. Tagann pictiúr torainn íon as an modh seo a athrá cúpla uair.
Conas mar sin is féidir linn pictiúr a chruthú as an íomhá seo?
Déantar an próiseas idirleata a aisiompú trí úsáid a bhaint as a líonra neodrach. Úsáidtear na líonraí céanna agus na meáchain chéanna sa phróiseas idirleata ar gcúl chun an pictiúr a chruthú ó t go t-1.
In ionad ligean don líonra an pictiúr a réamh-mheas, is féidir iarracht a dhéanamh an torann a thuar ag gach céim, rud a chaithfear a bhaint as an íomhá, chun an tasc a shimpliú tuilleadh.
In aon chás, beidh an dearadh líonra néareolaíoch a roghnú ar bhealach a choinníonn gné na sonraí.
Léim go domhain isteach sa tSamhail Idirleata
Is próiseas ar aghaidh iad comhpháirteanna múnla idirleata (ar a dtugtar próiseas idirleata freisin), ina ndéantar datum (íomhá go minic) a fhuaimniú de réir a chéile, agus próiseas droim ar ais (ar a dtugtar próiseas idirleata droim ar ais), ina bhfuil torann. thiontú ar ais go sampla ón dáileadh sprice.
Nuair a bhíonn an leibhéal torainn íseal go leor, is féidir Gaussians coinníollach a úsáid chun na haistrithe slabhra samplála a bhunú sa phróiseas ar aghaidh. Tagann paraiméadarú éasca ar an bpróiseas chun cinn as an eolas seo a chomhcheangal le toimhde Markov:
q(x1:T |x0):= YT t=1 q(xt|xt−1), q(xt|xt−1) := N (xt; p 1 − βtxt−1, βtI)
anseo 1 ....Is sceideal athraithis é T (ceachtar foghlamtha nó seasta) a chinntíonn, i gcás T sách ard, gur Gaiseach iseatrópach é xT beagnach.
Is é an próiseas os coinne nuair a tharlaíonn draíocht múnla idirleata. Foghlaimíonn an tsamhail an próiseas idirleata seo a aisiompú le linn na hoiliúna chun sonraí úra a tháirgeadh. Foghlaimíonn an tsamhail an dáileadh comhpháirteach mar (x0:T) an toradh a bhaineann le tosú leis an gcothromóid torainn Gaussach íon
(xT):=N(xT,0,I).
pθ(x0:T ):= p(xT ) YT t=1 pθ(xt−1|xt), pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ( xt, t))
áit a aimsítear paraiméadair ama na n-aistrithe Gaussacha. Tabhair faoi deara go háirithe an chaoi a ndeirtear i bhfoirmiú Markov go mbraitheann dáileadh trasdul idirleata droim ar ais go hiomlán ar an gcéim ama roimhe sin (nó ar an gcéim ama ina dhiaidh sin, ag brath ar an gcaoi a mbreathnaíonn tú air):
pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ(xt, t))
Oiliúint Múnla
Úsáidtear samhail droim ar ais Markov a uasmhéadaíonn dóchúlacht na sonraí oiliúna chun múnla idirleata a oiliúint. Go praiticiúil, tá an oiliúint ar aon dul leis an teorainn athraitheach éagsúil ar an dóchúlacht logála diúltach a laghdú.
E [− log pθ(x0)] ≤ Eq − log pθ(x0:T ) q(x1:T |x0) = Eq − log p(xT ) − X t≥1 log pθ(xt−1|xt) q (xt|xt−1) =: L
múnlaí
Ní mór dúinn cinneadh a dhéanamh anois conas ár Múnla Idirleata a chur i bhfeidhm tar éis dúinn bunsraithí matamaitice ár spriocfheidhm a bhunú. Is é an t-aon chinneadh atá ag teastáil don phróiseas ar aghaidh ná an sceideal athraitheas a chinneadh, a ardaíonn a luachanna de ghnáth le linn an nós imeachta.
Breithnímid go láidir úsáid a bhaint as paraiméadarú dáileadh Gaussach agus ailtireacht mhúnla don nós imeachta droim ar ais.
Is é an t-aon choinníoll dár ndearadh ná go bhfuil na toisí céanna ag an ionchur agus an t-aschur araon. Leagann sé seo béim ar an méid ollmhór saoirse a sholáthraíonn Samhlacha Idirleata.
Anseo thíos, déanfaimid níos doimhne faoi na roghanna seo.
Próiseas Ar Aghaidh
Ní mór dúinn an sceideal athraitheas a sholáthar maidir leis an bpróiseas chun cinn. Socraíomar go sonrach gur tairisigh iad a bhí ag brath ar am agus thugamar neamhaird ar an bhféidearthacht gur féidir iad a fhoghlaim. Sceideal cróineolaíoch ó
β1 = 10−4 go βT = 0.02.
Lt a bheith seasta maidir lenár sraith de pharaiméadair infhoghlama mar gheall ar an sceideal athraithe seasta, rud a ligeann dúinn neamhaird a dhéanamh air le linn na hoiliúna beag beann ar na luachanna sonracha a roghnaíodh.
Próiseas Droim ar Ais
Téimid anois ar na cinntí is gá chun an próiseas droim ar ais a shainiú. Cuimhnigh mar a chuireamar síos ar aistrithe droim ar ais Markov mar Ghaussach:
pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ(xt, t))
Anois go bhfuil na cineálacha feidhmiúla aitheanta againn. In ainneoin go bhfuil teicnící níos casta le parameterize, ní mór dúinn a shocrú
Σθ(xt, t) = σ 2 t I
σ 2 t = βt
Chun é a chur ar bhealach eile, measaimid go bhfuil Gaussians ilvariate mar thoradh ar Gaussians ar leith leis an athraitheas céanna, luach athraitheas gur féidir luainiú le himeacht ama. Tá na diallais sin socraithe chun teacht leis an amchlár chun diallaisí próisis a chur ar aghaidh.
Mar thoradh ar an bhfoirmiú nua seo, tá:
pθ(xt−1|xt):= N (xt−1; µθ (xt, t), Σθ(xt, t) :=N (xt−1; µθ (xt, t), σ2 t I)
Is é an toradh atá air seo ná an fheidhm chaillteanais mhalartach a thaispeántar thíos, a fuair na húdair oiliúint níos comhsheasmhaí agus torthaí níos fearr:
Lsimple(θ):= Et,x0, h − θ( √ α¯tx0 + √ 1 − α¯t, t) 2
Tarraingíonn na húdair naisc freisin idir an foirmiú seo de shamhlacha idirleata agus samhlacha giniúna scór-mheaitseála bunaithe ar Langevin. Mar is amhlaidh le forbairt neamhspleách agus comhthreomhar na fisice chandamach tonnbhunaithe agus meicnic chandamach bunaithe ar mhaitrís, a léirigh dhá fhoirmliú inchomparáide de na feiniméin chéanna, is cosúil gur féidir le Múnlaí Idirleata agus Scór-Bhunaithe a bheith ina dhá thaobh den bhoinn chéanna.
Ailtireacht Líonra
In ainneoin go bhfuil sé mar aidhm ag ár bhfeidhm caillteanas comhdhlúite múnla a oiliúint Σθ, níl cinneadh déanta againn fós ar ailtireacht an tsamhail seo. Coinnigh i gcuimhne go gcaithfidh an tsamhail na toisí céanna ionchuir agus aschuir a bheith aige.
I bhfianaise na srianta sin, is dócha nach bhfuiltear ag súil leis go n-úsáidtear ailtireachtaí cosúil le U-Net go minic chun samhlacha idirleata pictiúr a chruthú.
Déantar go leor athruithe feadh bhealaigh an phróisis droim ar ais agus úsáid á baint as dáiltí Gaussach coinníollach leanúnach. Cuimhnigh gurb é sprioc an nós imeachta droim ar ais ná pictiúr a chruthú comhdhéanta de luachanna picteilín slánuimhir. Is gá mar sin dóchúlachtaí scoite (logála) a chinneadh do gach luach féideartha picteilín thar gach picteilín.
Baintear é seo amach trí dhíchódóir scoite ar leith a shannadh d'aistriú deireanach an tslabhra idirleata droim ar ais. meastachán a dhéanamh ar sheans íomhá áirithe x0 tugadh x1.
pθ(x0|x1) = YD i=1 Z δ+(xi 0 ) δ−(xi 0 ) N (x; µ i θ (x1, 1), σ2 1 ) dx
δ+(x) = ∞ má tá x = 1 x + 1 255 má tá x < 1 δ−(x) = −∞ má tá x = −1 x − 1 255 má tá x > −1
áit a seasann forscript I eastóscadh comhordanáidí amháin agus ina sainíonn D líon na dtoisí sna sonraí.
Is é an cuspóir ag an bpointe seo ná an dóchúlacht go mbeidh gach slánuimhir le haghaidh picteilín ar leith a fháil amach mar gheall ar dháileadh na luachanna féideartha don picteilín sin san athrú ama t=1.
Cuspóir Deiridh
Tháinig na torthaí is mó, dar leis na heolaithe, as comhpháirt torainn pictiúr a thuar ag céim ama áirithe. Sa deireadh, úsáideann siad an sprioc seo a leanas:
Lsimple(θ):= Et,x0, h − θ( √ α¯tx0 + √ 1 − α¯t, t) 2
San íomhá seo a leanas, léirítear go beacht na nósanna imeachta oiliúna agus samplála dár múnla idirleata:
Buntáistí an tSamhail Idirleata
Mar a cuireadh in iúl cheana féin, tá méadú tagtha le déanaí ar an méid taighde ar shamhlacha idirleata. Soláthraíonn Múnlaí Idirleata cáilíocht íomhá den scoth anois agus tá siad spreagtha ag teirmidinimic neamhchothromaíochta.
Soláthraíonn Múnlaí Idirleata buntáistí éagsúla eile chomh maith le cáilíocht pictiúr ceannródaíoch a bheith acu, mar nach dteastaíonn oiliúint sháraíochta.
Tá na míbhuntáistí a bhaineann le hoiliúint sáraíochta ar eolas go forleathan, mar sin is fearr go minic roghanna neamhsháraíochta a roghnú a bhfuil feidhmíocht chomhionann agus éifeachtacht oiliúna acu.
Soláthraíonn samhlacha idirleata freisin na buntáistí a bhaineann le hinscálaitheacht agus le comhthreomhaireacht i dtéarmaí éifeachtacht oiliúna.
Cé gur dealraitheach go ngineann Múnlaí Idirleata torthaí as an aer tanaí, tá bunús na dtorthaí seo leagtha síos ag roinnt cinntí agus subtleties matamaiticiúla tuisceanach agus suimiúla, agus tá dea-chleachtais tionscail á bhforbairt fós.
Conclúid
Mar fhocal scoir, léiríonn taighdeoirí torthaí sintéise pictiúr ardchaighdeáin ag baint úsáide as samhlacha dóchúlachta idirleata, aicme de shamhlacha inathraithe folaigh spreagtha ag smaointe ó theirididinimic neamhchothromaíochta.
Tá rudaí iontacha bainte amach acu a bhuíochas dá dtorthaí úrscothacha agus dá n-oiliúint neamhsháraíochta agus i bhfianaise a n-óige, b'fhéidir go mbeifear ag súil le tuilleadh dul chun cinn sna blianta amach romhainn.
Go háirithe, fuarthas amach go bhfuil samhlacha idirleata ríthábhachtach d'fheidhmiúlacht samhlacha chun cinn mar DALL-E 2.
anseo is féidir leat rochtain a fháil ar an taighde iomlán.
Leave a Reply