Diffusie modelle het die aardbol deur die storm gevee met die vrystelling van Dall-E 2, Google se beeld, Stabiele verspreiding, en middel van die reis, wat innovasie aanwakker en die grense van masjienleer strek.
Hierdie modelle kan 'n byna onbeperkte aantal beelde uit woordopdragte produseer, insluitend fotorealistiese, magiese, futuristiese en, natuurlik, oulike beelde.
Hierdie vermoëns herverbeeld wat dit vir mense beteken om met silikon te koppel, wat ons die vermoë gee om feitlik enige prentjie te maak wat ons kan voorstel.
Soos hierdie modelle ontwikkel of die volgende generatiewe paradigma oorneem, sal mense in staat wees om beelde, films en ander meeslepende ervarings met slegs 'n gedagte te produseer.
In hierdie pos bespreek ons die diffusie model, stabiele diffusie, hoe dit werk, en 'n diffusiemodel-inverftutoriaal, onder andere.
Wat is die diffusiemodel?
Masjienleermodelle wat nuwe data uit opleidingsdata kan skep, word generatiewe modelle genoem. Ander generatiewe modelle sluit in vloeigebaseerde modelle, variasie-outo-enkodeerders en generatiewe teenstandersnetwerke (GAN's).
Elkeen kan prente van uitstekende gehalte genereer. Diffusiemodelle leer om die data te herwin deur hierdie geraasbyvoegingsproses om te keer nadat hulle die opleidingsdata beskadig het deur geraas by te voeg. Om dit anders te stel, is diffusiemodelle in staat om samehangende prente uit die geraas te skep.
Diffusiemodelle leer deur geraas aan prente bekend te stel, wat die model later die verwydering van bemeester. Ten einde realistiese beeldmateriaal te produseer, pas die model dan hierdie ontkenningstegniek op lukrake sade toe.
Deur die prentproduksieproses te kondisioneer, kan hierdie modelle saam met teks-na-beeld-leiding gebruik word om 'n byna onbeperkte aantal beelde uit teks alleen te genereer. Die sade kan gerig word deur insette van inbeddings soos CLIP om sterk teks-na-beeld-vermoëns te gee.
Diffusiemodelle kan 'n verskeidenheid take verrig, insluitend beeldskepping, beeldverkleuring, inverf, uitverf en bietjie diffusie.
Nou, wat is stabiele diffusie?
Stable Diffusion is 'n masjienleermodel vir teksgebaseerde prentskepping verskaf deur Stabiliteit.AI. Dit is in staat om beelde uit teks te genereer.
Komponente van stabiele diffusie
Stabiele verspreiding is 'n stelsel wat uit verskeie komponente en konsepte bestaan. Dit is nie 'n enkele model nie. Wanneer ons agter die enjinkap kyk, is die eerste ding wat ons sien dat daar 'n teksverstaan komponent is wat teksinligting omskakel in 'n numeriese voorstelling wat die teks se konsepte vasvang.
Ons kan hierdie teksenkodeerder 'n Transformator noem taalmodel (tegnies: die teksenkodeerder van 'n CLIP-model). Dit neem die invoerteks en genereer 'n lys heelgetalle ('n vektor) vir elke woord/teken in die teks. Daardie data word dan aan die Image Generator verskaf, wat uit verskeie komponente bestaan.
Daar is twee stappe in die beeldgenerator:
1. Skepper van beeldinligting
Die belangrikste komponent in stabiele diffusie is hierdie element. Dit is waar die meerderheid van die verbetering in werkverrigting teenoor vroeëre weergawes gemaak word.
Hierdie komponent gaan deur verskeie stadiums om beelddata te verskaf. Die skepper van prentinligting werk slegs binne die beeldinligtingsruimte (of latente ruimte).
Dit is vinniger as vroeëre diffusiemodelle wat in pixelruimte gewerk het as gevolg van hierdie eienskap. Tegnies gesproke is hierdie komponent saamgestel uit 'n skeduleringsalgoritme en 'n UNet neurale netwerk.
Die proses wat in hierdie komponent plaasvind word na verwys as "diffusie". 'n Beeld van hoë gehalte word uiteindelik geproduseer as gevolg van die inligting wat in stappe (deur die volgende komponent, die beelddekodeerder) verwerk word.
2. Beelddekodeerder
Met behulp van die data wat dit van die inligtingvervaardiger ontvang het, skep die beelddekodeerder 'n prentjie. Dit word net een keer uitgevoer om die voltooide pixelprent aan die einde van die operasie te skep.
Stabiele Diffusie Impainting handleiding
Stabiele Diffusie-prentverf is die tegniek om ontbrekende of beskadigde areas van 'n beeld in te vul. Die doel van prentverf is om die feit dat die beeld herstel is, te verswyg.
Hierdie tegniek word gereeld gebruik om ongewenste dinge uit 'n beeld uit te skakel of om beskadigde dele van historiese foto's te herstel. Stabiele Diffusie Inpainting is 'n relatief onlangse manier van inpainting wat belowende effekte lewer.
Deur die instruksies hieronder te volg, sal jy begin om inverf te verken en bestaande foto's te wysig as jy wil probeer inverf met stabiele diffusie:
- Gaan na Huggingface Stabiele diffusie impainting
- Laai jou eie prent op
- Vee die gedeelte van jou prent uit wat vervang moet word.
- Voer jou boodskap hier in (wat jy wil byvoeg in plaas van wat jy verwyder)
- Kies "hardloop"
In die video bo laai ons 'n foto met drie suurlemoene op en verruil dit vir appels. Ek beveel persoonlik aan om dit uit te probeer met jou eie foto's en opdragte.
Gevolgtrekking
Oor die algemeen is bestendige diffusie-inverf 'n uitstekende metode om vals beelde of video's te produseer wat uiters eg blyk te wees. Soos ons na nuwe tegnologiese vooruitgang beweeg, sal dit moeiliker en moeiliker word om te onderskei tussen outentiek en bedrieglik soos tegnologie vorder.
Swahir
Die eerste helfte is heeltemal nie verwant aan die tweede helfte nie. Dit sou regtig gaaf gewees het as die skrywer sou verduidelik het hoe inpaint werk in die raamwerk van die model wat hy vroeër verduidelik het, insigte kon gee. Maar nee! Dit sou 'n werklike begrip vereis het, eerder as om 'n ewekansige teks te versamel en te verwerk.