Difusioonmudelid on levitamisega tormiliselt maakera pühkinud Dall-E 2, Google'i pilt, Stabiilne difusioonja Keskteekond, käivitades innovatsiooni ja laiendades masinõppe piire.
Need mudelid suudavad sõnaviipade põhjal toota peaaegu piiramatul hulgal pilte, sealhulgas fotorealistlikke, maagilisi, futuristlikke ja loomulikult armsaid pilte.
Need võimalused kujutavad uuesti ette, mida tähendab inimeste jaoks räniga liidestamine, andes meile võimaluse teha praktiliselt mis tahes pilti, mida suudame ette kujutada.
Kui need mudelid arenevad või järgmine generatiivne paradigma võimust võtab, saavad inimesed luua pilte, filme ja muid ümbritsevaid kogemusi ainult mõttega.
Selles postituses käsitleme difusioonimudel, stabiilne difusioon, kuidas see toimib, ja muu hulgas difusioonimudeli maalimise õpetus.
Mis on difusioonimudel?
Masinõppemudeleid, mis suudavad luua koolitusandmetest uusi andmeid, nimetatakse generatiivseteks mudeliteks. Teised generatiivsed mudelid hõlmavad voopõhiseid mudeleid, variatsioonilisi automaatkoodereid ja generatiivseid võistlevaid võrke (GAN).
Igaüks neist saab luua suurepärase kvaliteediga pilte. Hajutusmudelid õpivad andmeid taastama, pöörates selle müra lisamise protsessi tagasi pärast treeningandmete kahjustamist müra lisamisega. Teisisõnu on difusioonmudelid võimelised looma mürast ühtseid pilte.
Difusioonmudelid õpivad, lisades piltidele müra, mille eemaldamise mudel hiljem valdab. Realistlike visuaalide loomiseks rakendab mudel seda müra summutamise tehnikat juhuslikele seemnetele.
Pildi tootmisprotsessi reguleerides saab neid mudeleid kasutada koos tekstist pildiks juhistega, et luua ainult tekstist peaaegu piiramatu arv pilte. Seemneid saab suunata sisendite kaudu, mis pärinevad manustest, nagu CLIP, et anda tugev teksti-pildiks muutmise võimalus.
Hajutusmudelid võivad täita mitmesuguseid ülesandeid, sealhulgas kujutise loomist, pildi müra vähendamist, värvimist, värvimist ja bittide hajutamist.
Mis on stabiilne difusioon?
Stabiilne difusioon on masinõppemudel tekstipõhiseks piltide loomiseks, mida pakub Stabiilsus.AI. See on võimeline tekstist pilte genereerima.
Stabiilse difusiooni komponendid
Stabiilne difusioon on süsteem, mis koosneb mitmest komponendist ja kontseptsioonist. Tegemist ei ole ühe mudeliga. Kapoti taga kontrollides näeme esimese asjana, et seal on teksti mõistmise komponent, mis teisendab tekstiteabe numbriliseks esituseks, mis fikseerib teksti mõisted.
Seda tekstikodeerijat võime nimetada transformaatoriks keelemudel (tehniliselt: CLIP-mudeli tekstikodeerija). See võtab sisendteksti ja genereerib täisarvude loendi (vektori) iga tekstis oleva sõna/märgi kohta. Seejärel edastatakse need andmed pildigeneraatorisse, mis koosneb mitmest komponendist.
Pildigeneraatoris on kaks sammu:
1. Pildiinfo looja
Stabiilse difusiooni põhikomponent on see element. Seal tehakse suurem osa jõudluse paranemisest võrreldes varasemate versioonidega.
See komponent läbib pildiandmete esitamiseks mitu etappi. Pildiinfo looja tegutseb ainult pildi inforuumi (või varjatud ruumi) piires.
Selle omaduse tõttu on see kiirem kui varasemad difusioonimudelid, mis töötasid piksliruumis. Tehniliselt öeldes koosneb see komponent ajastamisalgoritmist ja UNetist Närvivõrgus.
Selles komponendis toimuvat protsessi nimetatakse difusiooniks. Kvaliteetne pilt saadakse lõppkokkuvõttes teabe etapiviisilise töötlemise tulemusel (järgmise komponendi, pildidekoodri poolt).
2. Pildi dekooder
Kasutades teabetootjalt saadud andmeid, loob pildidekooder pildi. See käivitatakse ainult üks kord, et luua toimingu lõpus valmis pikslipilt.
Stabiilse difusiooni impainingu õpetus
Stabiilse hajutusega piltide maalimine on tehnika puuduvate või kahjustatud piirkondade täitmiseks pildil. Pildimaalingu eesmärk on varjata, et kujutis on taastatud.
Seda tehnikat kasutatakse sageli soovimatute asjade eemaldamiseks pildilt või ajalooliste fotode kahjustatud alade taastamiseks. Stabiilne difusioonvärvimine on suhteliselt uus värvimisviis, mis annab paljulubavaid tulemusi.
Alltoodud juhiste järgimine aitab teil alustada maalimist ja olemasolevate fotode muutmist, kui soovite proovida maalimist stabiilse hajutusega:
- Minge Huggingface'i Stabiilne difusioon impainting
- Laadige üles oma pilt
- Kustutage pildist see osa, mis tuleb asendada.
- Sisestage siia oma viip (mida soovite eemaldada eemaldatava asemele lisada)
- Valige "jooksma"
Üleval olevas videos laadime üles pildi kolme sidruniga ja vahetame need õunte vastu. Soovitan isiklikult seda oma fotode ja viipade abil proovida.
Järeldus
Üldiselt on ühtlase difusiooniga värvimine suurepärane meetod võltspiltide või -videote loomiseks, mis näivad olevat äärmiselt reaalsed. Uue tehnoloogia arengu suunas liikudes muutub tehnoloogia arenedes aina raskemaks eristada autentset ja pettust.
suahir
Esimene poolaeg pole teise poolajaga üldse seotud. Oleks olnud väga lahe, kui autor oleks selgitanud, kuidas inpaint töötab tema varem selgitatud mudeli raames, oleks andnud aimu. Kuid mitte! See oleks nõudnud tõelist mõistmist, mitte juhusliku teksti kogumist ja töötlemist.