Yn gyffredinol, mae modelau cynhyrchiol dwfn fel GANs, VAEs, a modelau autoregressive yn trin problemau synthesis delwedd.
O ystyried ansawdd uchel y data y maent yn ei greu, mae rhwydweithiau gwrthwynebus cynhyrchiol (GANs) wedi cael llawer o sylw yn y blynyddoedd diwethaf.
Mae modelau trylediad yn faes astudio hynod ddiddorol arall sydd wedi sefydlu ei hun. Mae meysydd delwedd, fideo, a chynhyrchu llais ill dau wedi dod o hyd i ddefnydd helaeth i'r ddau ohonyn nhw.
Modelau tryledu yn erbyn GANs: Sy'n Cynhyrchu Canlyniadau Gwell? Yn naturiol, mae hyn wedi arwain at drafodaeth barhaus.
Yn y bensaernïaeth gyfrifiadol a elwir y GAN, dau rhwydweithiau nefol yn cael eu hymladd yn erbyn ei gilydd i gynhyrchu enghreifftiau newydd eu syntheseiddio a all basio ar gyfer data dilys.
Mae modelau trylediad yn dod yn fwy a mwy poblogaidd gan eu bod yn darparu sefydlogrwydd hyfforddiant a chanlyniadau uchel ar gyfer cynhyrchu cerddoriaeth a graffeg.
Bydd yr erthygl hon yn mynd trwy'r model trylediad a GANs yn fanwl, yn ogystal â sut maent yn wahanol i'w gilydd ac ychydig o bethau eraill.
Felly, beth yw Rhwydweithiau Gwrthwynebol Cynhyrchiol?
Er mwyn creu achosion newydd, artiffisial o ddata y gellid eu camgymryd am ddata dilys, mae rhwydweithiau gwrthwynebol cynhyrchiol (GANs) yn defnyddio dau rwydwaith niwral ac yn eu gosod yn erbyn ei gilydd (a thrwy hynny y “gwrthwynebol” yn yr enw).
Maent yn cael eu defnyddio'n helaeth ar gyfer lleferydd, fideo, a chreu lluniau.
Amcan GAN yw creu data nas darganfyddwyd o'r blaen o set ddata benodol. Mae ceisio casglu model o'r dosbarthiad data sylfaenol gwirioneddol, anhysbys o'r samplau, yn gwneud hyn.
Fel arall, dywedir bod y rhwydweithiau hyn yn fodelau ymhlyg sy'n ceisio dysgu dosbarthiad ystadegol penodol.
Roedd y dull a ddefnyddiodd GAN i ddarganfod sut i gyflawni'r nod hwn yn newydd. Mewn gwirionedd, maen nhw'n cynhyrchu data trwy chwarae gêm dau chwaraewr i ddatblygu model ymhlyg.
Mae'r canlynol yn disgrifio'r strwythur:
- Gwahaniaethwr sy'n ennill y gallu i wahaniaethu rhwng data dilys a ffug
- gall generadur sy'n canfod ffyrdd newydd o greu data dwyllo'r gwahaniaethwr.
Mae'r gwahaniaethwr yn ymddangos fel rhwydwaith niwral. Felly, mae angen i'r generadur greu llun o ansawdd uchel i'w dwyllo.
Mae'r ffaith nad yw'r generaduron hyn wedi'u hyfforddi gan ddefnyddio unrhyw ddosbarthiad allbwn yn wahaniaeth sylweddol rhwng modelau autoencoder a modelau eraill.
Mae dwy ffordd i ddadelfennu swyddogaeth colli'r model:
- y gallu i feintioli a yw'r gwahaniaethwr yn rhagweld data gwirioneddol yn gywir
- data a gynhyrchir yn cael ei ragfynegi'n gywir gan gyfran.
Ar y gwahaniaethwr dichonadwy gorau, yna caiff y swyddogaeth golled hon ei lleihau i'r eithaf:
Gellir meddwl felly am fodelau generig fel modelau lleihau pellter ac, os yw'r gwahaniaethwr yn ddelfrydol, fel lleihau'r gwahaniaeth rhwng y dosbarthiad gwirioneddol a'r dosbarthiad a gynhyrchir.
Mewn gwirionedd, mae'n bosibl y bydd gwahaniaethau gwahanol yn cael eu defnyddio ac yn arwain at amrywiol ddulliau hyfforddi GAN.
Mae'r ddeinameg dysgu, sy'n cynnwys cyfaddawd rhwng y generadur a'r gwahaniaethwr, yn heriol i'w dilyn, er ei bod yn syml addasu swyddogaeth golled GANs.
Nid oes unrhyw sicrwydd ychwaith y bydd dysgu yn cydgyfeirio. O ganlyniad, mae hyfforddi model GAN yn anodd, gan ei fod yn nodweddiadol rhedeg ar draws problemau fel graddiannau diflannu a chwymp modd (pan nad oes amrywiaeth yn y samplau a gynhyrchir).
Nawr, mae'n amser i Diffusion Models
Aethpwyd i'r afael â'r broblem gyda chydgyfeirio hyfforddiant GANs drwy ddatblygu modelau tryledu.
Mae'r modelau hyn yn rhagdybio bod proses ymlediad yn cyfateb i golli gwybodaeth a achosir gan ymyrraeth gynyddol sŵn (ychwanegir sŵn gaussian ar bob cam o'r broses dryledu).
Pwrpas model o'r fath yw penderfynu sut mae sŵn yn effeithio ar y wybodaeth sy'n bresennol yn y sampl, neu, i'w roi mewn ffordd arall, faint o wybodaeth a gollir oherwydd trylediad.
Os yw model yn gallu cyfrifo hyn, dylai allu adalw'r sampl wreiddiol a dadwneud y golled gwybodaeth a ddigwyddodd.
Cyflawnir hyn trwy fodel tryledu dad-wneud. Mae proses tryledu ymlaen a phroses tryledu o chwith yn ffurfio'r ddau gam.
Mae'r broses tryledu ymlaen yn golygu ychwanegu sŵn Gaussian yn raddol (hy, y broses tryledu) nes bod y data wedi'i halogi'n llwyr gan sŵn.
Mae'r rhwydwaith niwral yn cael ei hyfforddi wedyn gan ddefnyddio'r dull tryledu gwrthdro i ddysgu'r tebygolrwydd o ddosbarthu amodol i wrthdroi'r sŵn.
Yma gallwch ddeall mwy am y model trylediad.
Model Tryledu Vs GANs
Fel model trylediad, mae GANs yn cynhyrchu lluniau o sŵn.
Mae'r model yn cynnwys rhwydwaith niwral generadur, sy'n dechrau gyda sŵn rhyw newidyn cyflyru llawn gwybodaeth, megis label dosbarth neu amgodio testun.
Dylai'r canlyniad wedyn fod yn rhywbeth sy'n debyg i ddelwedd realistig.
Er mwyn creu cenedlaethau o luniau ffotorealistig a ffyddlon iawn, rydym yn cyflogi GANs. Mae delweddau hyd yn oed yn fwy realistig na GANs yn cael eu cynhyrchu gan ddefnyddio modelau trylediad.
Mewn ffordd, mae modelau trylediad yn fwy cywir wrth ddisgrifio'r ffeithiau.
Er bod GAN yn cymryd hapsŵn mewnbwn neu newidyn cyflyru dosbarth ac yn allbynnu sampl realistig, mae modelau trylediad yn aml yn arafach, yn ailadroddol, ac mae angen llawer mwy o arweiniad arnynt.
Nid oes llawer o le i gamgymeriadau pan ddefnyddir denoising dro ar ôl tro gyda'r nod o ddychwelyd i'r ddelwedd wreiddiol o'r sŵn.
Mae pob pwynt gwirio yn cael ei basio drwodd trwy gydol y cam creu, a gyda phob cam, efallai y bydd y llun yn ennill mwy a mwy o wybodaeth.
Casgliad
I gloi, Oherwydd ychydig o ymchwil sylweddol a gyhoeddwyd yn y 2020au a 2021 yn unig, gall modelau trylediad bellach berfformio'n well na GANs o ran synthesis lluniau.
Eleni, lansiodd OpenAI DALL-E2, model cynhyrchu delweddau sy'n caniatáu i ymarferwyr ddefnyddio modelau tryledu.
Er bod GANs yn flaengar, mae eu cyfyngiadau yn ei gwneud yn heriol i’w graddio a’u defnyddio mewn cyd-destunau newydd.
Er mwyn cyflawni ansawdd sampl tebyg i GAN gan ddefnyddio modelau sy'n seiliedig ar debygolrwydd, mae llawer o waith wedi'i roi i mewn iddo.
Gadael ymateb