B'mod ġenerali, mudelli ġenerattivi profondi bħal GANs, VAEs, u mudelli autoregressivi jimmaniġġjaw problemi ta 'sintesi ta' immaġni.
Minħabba l-kwalità għolja tad-dejta li joħolqu, in-netwerks ġenerattivi kontradittorji (GANs) irċevew ħafna attenzjoni f'dawn l-aħħar snin.
Mudelli ta’ tixrid huma qasam ta’ studju affaxxinanti ieħor li stabbilixxa ruħu. L-oqsma tal-ġenerazzjoni tal-immaġni, tal-vidjow u tal-vuċi t-tnejn sabu użu estensiv għat-tnejn li huma.
Mudelli ta' tixrid vs GANs: Liema Jipproduċi Riżultati Aħjar? Naturalment, dan wassal għal diskussjoni kontinwa.
Fl-arkitettura komputazzjonali magħrufa bħala l-GAN, tnejn netwerks newrali huma miġġielda kontra xulxin biex jipproduċu każijiet ta' data sintetizzati ġodda li jistgħu jgħaddu għal data ġenwina.
Mudelli ta' tixrid qed isiru aktar u aktar popolari peress li jipprovdu stabbiltà ta' taħriġ u riżultati għoljin għall-produzzjoni tal-mużika u l-grafika.
Dan l-artikolu ser jgħaddi mill-mudell tad-diffużjoni u l-GANs fid-dettall, kif ukoll kif huma differenti minn xulxin u ftit affarijiet oħra.
Allura, x'inhuma Netwerks Avversarji Ġenerattivi?
Sabiex jinħolqu każijiet ġodda u artifiċjali ta’ dejta li jistgħu jiġu żbaljati ma’ dejta ġenwina, in-netwerks ġenerattivi kontradittorji (GANs) jimpjegaw żewġ netwerks newrali u jpoġġuhom kontra xulxin (għalhekk il-“kontroversjali” fl-isem).
Dawn huma utilizzati b'mod estensiv għall-ħolqien ta 'diskors, vidjo, u stampi.
L-għan tal-GAN huwa li toħloq data li ma kinitx skoperta qabel minn dataset speċifiku. Li tipprova tiddeduċi mudell tad-distribuzzjoni tad-dejta sottostanti attwali u mhux identifikata mill-kampjuni, tagħmel dan.
Inkella, dawn in-netwerks huma mudelli impliċiti li jippruvaw jitgħallmu distribuzzjoni statistika speċifika.
Il-metodu GAN użat biex jiskopri kif jintlaħaq dan l-għan kien ġdid. Fil-fatt, jipproduċu dejta billi jilagħbu logħba b'żewġ plejers biex jiżviluppaw mudell impliċitu.
Dan li ġej jiddeskrivi l-istruttura:
- Diskriminatur li jikseb il-kapaċità li jiddifferenzja bejn data awtentika u falza
- ġeneratur li jiġbor modi ġodda biex tinħoloq data jista' jqarraq lid-diskriminatur.
Id-diskriminatur joħloq bħala netwerk newrali. Għalhekk, il-ġeneratur jeħtieġ li joħloq stampa bi kwalità għolja biex iqarraqha.
Il-fatt li dawn il-ġeneraturi mhumiex imħarrġa bl-użu ta 'kwalunkwe distribuzzjoni tal-output hija distinzjoni sinifikanti bejn mudelli ta' autoencoder u mudelli oħra.
Hemm żewġ modi kif tiddekomponi l-funzjoni tat-telf tal-mudell:
- l-abbiltà li tikkwantifika jekk id-diskriminatur jipprevedix b'mod preċiż data reali
- data ġġenerata hija mbassra b'mod preċiż minn porzjon.
Fuq l-aħjar diskriminatur fattibbli, din il-funzjoni tat-telf imbagħad tiġi minimizzata:
Mudelli ġeneriċi jistgħu għalhekk jitqiesu bħala mudelli ta' minimizzazzjoni tad-distanza u, jekk id-diskriminatur huwa ideali, bħala minimizzazzjoni tad-diverġenza bejn id-distribuzzjoni vera u prodotta.
Fir-realtà, diverġenzi differenti jistgħu jiġu impjegati u jirriżultaw f'diversi metodi ta 'taħriġ GAN.
Id-dinamika tat-tagħlim, li tinkludi kompromess bejn il-ġeneratur u d-diskriminatur, hija ta’ sfida biex issegwi, minkejja li hija sempliċi biex taġġusta l-funzjoni tat-telf tal-GANs.
M'hemm l-ebda assigurazzjoni wkoll li t-tagħlim se jikkonverġi. B'riżultat ta 'dan, it-taħriġ ta' mudell GAN huwa diffiċli, peress li huwa tipiku li tgħaddi minn problemi bħal gradjenti li jisparixxu u kollass tal-mod (meta ma jkun hemm l-ebda diversità fil-kampjuni ġenerati).
Issa, wasal iż-żmien għall-Mudelli tad-Diffużjoni
Il-problema tal-konverġenza tat-taħriġ tal-GANs ġiet indirizzata permezz tal-iżvilupp ta' mudelli ta' diffużjoni.
Dawn il-mudelli jassumu li proċess ta 'diffużjoni huwa ekwivalenti għal telf ta' informazzjoni miġjuba mill-interferenza progressiva tal-istorbju (ħoss gaussian huwa miżjud f'kull pass tal-proċess ta 'diffużjoni).
L-iskop ta 'tali mudell huwa li jiddetermina kif l-istorbju jaffettwa l-informazzjoni preżenti fil-kampjun, jew, fi kliem ieħor, kemm tintilef informazzjoni minħabba t-tixrid.
Jekk mudell jista 'jidher dan, għandu jkun jista' jirkupra l-kampjun oriġinali u jneħħu t-telf ta 'informazzjoni li seħħ.
Dan jitwettaq permezz ta' mudell ta' diffużjoni ta' denoising. Proċess ta 'diffużjoni 'l quddiem u proċess ta' diffużjoni b'lura jiffurmaw iż-żewġ passi.
Il-proċess ta 'diffużjoni 'l quddiem jinvolvi ż-żieda gradwali ta' storbju Gaussian (jiġifieri, il-proċess ta 'diffużjoni) sakemm id-dejta tkun kompletament ikkontaminata mill-istorbju.
In-netwerk newrali huwa sussegwentement imħarreġ bl-użu tal-metodu ta 'diffużjoni inversa biex jitgħallmu l-probabbiltajiet ta' distribuzzjoni kondizzjonali biex ireġġgħu lura l-istorbju.
Hawnhekk tista' tifhem aktar dwar il- mudell tad-diffużjoni.
Mudell ta' Diffużjoni Vs GANs
Bħal mudell ta 'diffużjoni, il-GANs jipproduċu stampi mill-istorbju.
Il-mudell huwa magħmul minn netwerk newrali ġeneratur, li jibda bil-ħoss ta 'xi varjabbli ta' kondizzjonament informattiv, bħal tikketta ta 'klassi jew kodifikazzjoni ta' test.
Ir-riżultat għandu mbagħad ikun xi ħaġa li tixbaħ immaġini realistiċi.
Biex noħolqu ġenerazzjonijiet ta 'stampa fotorealistiċi u ta' fedeltà għolja, aħna nimpjegaw GANs. Anke viżwali aktar realistiċi minn GANs huma prodotti bl-użu ta 'mudelli ta' diffużjoni.
B'xi mod, mudelli ta 'diffużjoni huma aktar preċiżi fid-deskrizzjoni tal-fatti.
Filwaqt li GAN jieħu bħala input ħsejjes każwali jew varjabbli ta 'kondizzjonament ta' klassi u joħroġ kampjun realistiku, mudelli ta 'diffużjoni spiss ikunu aktar bil-mod, iterattivi, u jeħtieġu ħafna aktar gwida.
M'hemmx ħafna lok għal żball meta t-tnaqqis tal-istorbju jiġi applikat ripetutament bil-għan li terġa 'lura għall-immaġni oriġinali mill-istorbju.
Kull punt ta 'kontroll jgħaddi minnu matul l-istadju tal-ħolqien, u ma' kull pass, l-istampa tista 'tikseb aktar u aktar informazzjoni.
konklużjoni
Bħala konklużjoni, Minħabba ftit riċerka sinifikanti li ġiet ippubblikata biss fis-snin 2020 u 2021, mudelli ta 'diffużjoni issa jistgħu jaqbżu l-GANs f'termini ta' sintesi ta 'stampa.
Din is-sena, nieda l-OpenAI DALL-E2, mudell ta 'produzzjoni ta' immaġni li jippermetti lill-prattikanti li jimpjegaw mudelli ta 'diffużjoni.
Għalkemm il-GANs huma l-aktar avvanzati, ir-restrizzjonijiet tagħhom jagħmluha ta’ sfida biex jiġu skalati u użati f’kuntesti ġodda.
Sabiex tinkiseb kwalità ta 'kampjuni bħal GAN bl-użu ta' mudelli bbażati fuq il-probabbiltà, sar ħafna xogħol fih.
Ħalli Irrispondi