Ang mga modelo sa pagsabwag mibanlas sa kalibutan pinaagi sa bagyo sa pagpagawas sa Dall-E 2, Imahe sa Google, Lig-on nga Pagsabwag, Ug Tunga sa panaw, nga nagpukaw sa kabag-ohan ug naglugway sa mga utlanan sa pagkat-on sa makina.
Kini nga mga modelo makahimo og halos walay kinutuban nga gidaghanon sa mga hulagway gikan sa word prompt, lakip ang photorealistic, magical, futuristic, ug, siyempre, cute nga mga hulagway.
Kini nga mga kapabilidad naghan-ay pag-usab kung unsa ang gipasabut sa mga tawo nga mag-interface sa silicon, nga naghatag kanamo og abilidad sa paghimo sa halos bisan unsang litrato nga among mahunahuna.
Samtang kini nga mga modelo molambo o ang sunod nga generative paradigm mopuli, ang mga tawo makahimo sa paghimo og mga hulagway, mga pelikula, ug uban pang mga immersive nga mga kasinatian nga adunay usa lamang ka hunahuna.
Niini nga post, atong hisgutan ang modelo sa pagsabwag, stable diffusion, giunsa kini pagtrabaho, ug usa ka diffusion model inpainting tutorial, ug uban pang mga butang.
Unsa ang modelo sa Diffusion?
Ang mga modelo sa pagkat-on sa makina nga makahimo og bag-ong datos gikan sa datos sa pagbansay gitawag nga generative models. Ang ubang mga generative nga modelo naglakip sa flow-based nga mga modelo, variational autoencoders, ug generative adversarial networks (GANs).
Ang matag usa makamugna og mga hulagway sa maayo kaayong kalidad. Ang mga modelo sa pagsabwag makakat-on sa pagbawi sa datos pinaagi sa pag-usab niining proseso sa pagdugang sa kasaba human makadaut sa datos sa pagbansay pinaagi sa pagdugang sa kasaba. Sa laing pagkasulti, ang mga modelo sa pagsabwag makahimo sa paghimo og managsama nga mga hulagway gikan sa kasaba.
Ang mga modelo sa pagsabwag makakat-on pinaagi sa pagpaila sa kasaba sa mga hulagway, nga ang modelo sa ulahi nag-master sa pagtangtang niini. Aron makagama og realistiko nga mga biswal, ang modelo unya mogamit niini nga denoising technique sa random nga mga liso.
Pinaagi sa pagkondisyon sa proseso sa produksiyon sa hulagway, kini nga mga modelo mahimong gamiton inubanan sa giya sa text-to-image aron makamugna og halos walay kinutuban nga gidaghanon sa mga hulagway gikan sa teksto lamang. Ang mga liso mahimong idirekta pinaagi sa mga input gikan sa mga embeddings sama sa CLIP aron mahatagan ang lig-on nga text-to-image nga kapabilidad.
Ang mga modelo sa pagsabwag makahimo sa lain-laing mga buluhaton, lakip ang paghimo sa imahe, pag-denoising sa imahe, pagpintal, pagpintal, ug pagsabwag sa gamay.
Karon, unsa ang stable diffusion?
Ang Stable Diffusion usa ka modelo sa pagkat-on sa makina alang sa paghimo sa litrato nga nakabase sa teksto nga gihatag sa Kalig-on.AI. Makahimo kini sa paghimo og mga imahe gikan sa teksto.
Mga bahin sa stable nga pagsabwag
Lig-on nga Pagsabwag usa ka sistema nga gilangkuban sa daghang mga sangkap ug konsepto. Dili kini usa ka modelo. Kung atong susihon ang likod sa hood, ang unang butang nga atong makita mao nga adunay bahin sa pagsabot sa teksto nga nag-convert sa impormasyon sa teksto ngadto sa numeric nga representasyon nga nagkuha sa mga konsepto sa teksto.
Matawag nato kini nga text encoder nga Transformer modelo sa pinulongan (sa teknikal nga paagi: ang text encoder sa usa ka CLIP nga modelo). Nagkinahanglan kini sa input text ug nagmugna og listahan sa mga integer (usa ka vector) alang sa matag pulong/token sa teksto. Kana nga datos gihatag dayon sa Image Generator, nga gilangkuban sa daghang mga sangkap.
Adunay duha ka mga lakang sa generator sa imahe:
1. Magbubuhat sa Impormasyon sa Imahe
Ang mayor nga sangkap sa Stable Diffusion mao kini nga elemento. Dinhi gihimo ang kadaghanan sa pag-uswag sa pasundayag sa mga naunang bersyon.
Kini nga sangkap moagi sa daghang mga yugto aron mahatagan ang datos sa litrato. Ang tiglalang sa impormasyon sa hulagway naglihok lamang sulod sa luna sa impormasyon sa hulagway (o tinago nga luna).
Kini mas paspas kay sa naunang mga modelo sa diffusion nga naglihok sa pixel space tungod niini nga kinaiya. Sa teknikal nga pagsulti, kini nga sangkap gilangkuban sa usa ka algorithm sa pag-iskedyul ug usa ka UNet neural network.
Ang proseso nga nahitabo sa kini nga sangkap gitawag nga "pagsabwag". Ang usa ka taas nga kalidad nga imahe sa katapusan gihimo ingon usa ka sangputanan sa kasayuran nga giproseso sa mga lakang (sa sunod nga sangkap, ang decoder sa imahe).
2. Image Decoder
Gamit ang datos nga nadawat niini gikan sa prodyuser sa impormasyon, ang image decoder nagmugna og hulagway. Nagpatuman lang kini kausa aron mahimo ang nahuman nga litrato sa pixel sa pagtapos sa operasyon.
Lig-on nga Pagsabwag Impainting tutorial
Ang Stable Diffusion picture inpainting mao ang teknik sa pagpuno sa nawala o nadaot nga mga bahin sa usa ka imahe. Ang katuyoan sa pagpintal sa litrato mao ang pagtago sa kamatuoran nga ang imahe gipahiuli.
Kini nga teknik kanunay nga gigamit sa pagtangtang sa dili gusto nga mga butang gikan sa usa ka imahe o aron mapasig-uli ang nadaot nga mga lugar sa mga litrato sa kasaysayan. Ang Stable Diffusion Inpainting usa ka bag-o nga paagi sa pagpintal nga naghatag mga maayong epekto.
Ang pagsunod sa mga instruksyon sa ubos makasugod ka sa pagsuhid sa pagpintal ug pag-usab sa mga kasamtangan nga mga litrato kung gusto nimo sulayan ang pagpintal nga adunay lig-on nga pagsabwag:
- Adto sa Huggingface Stable nga Pagsabwag Pagdaot
- Pag-upload sa imong kaugalingon nga imahe
- Papasa ang bahin sa imong hulagway nga kinahanglang ilisan.
- Pagsulod sa imong prompt dinhi (unsay gusto nimong idugang puli sa imong gitangtang)
- Pilia ang "run"
Sa video sa ibabaw, nag-upload kami og usa ka hulagway nga adunay tulo ka lemon ug gibaylo kini sa mga mansanas. Ako personal nga girekomendar nga sulayan kini gamit ang imong kaugalingon nga mga litrato ug mga pag-aghat.
Panapos
Sa kinatibuk-an, ang makanunayon nga pagsabwag sa inpainting usa ka maayo kaayo nga pamaagi sa paghimo og mga peke nga mga imahe o mga video nga ingon og labi ka tinuod. Samtang nagpadayon kita padulong sa bag-ong pag-uswag sa teknolohiya, mas maglisud ang pag-ila tali sa tinuod ug malimbungon samtang nag-uswag ang teknolohiya.
Swahir
Ang una nga katunga hingpit nga wala’y kalabutan sa ikaduha nga katunga. Nindot gyud unta kung ipasabut sa tagsulat kung giunsa ang paglihok sa inpaint sa balangkas sa modelo nga iyang gipatin-aw sa sayo pa, makahatag mga panan-aw. Apan dili! Kana nagkinahanglan ug tinuod nga pagsabot, kay sa pagkolekta ug pagproseso sa usa ka random nga teksto.