Disvastigo modeloj balais la terglobon per ŝtormo kun la liberigo de Dall-E 2, Bildo de Guglo, Stabila DisvastigoKaj Mezvojaĝo, ekigante novigon kaj streĉante la limojn de maŝina lernado.
Ĉi tiuj modeloj povas produkti preskaŭ senliman nombron da bildoj de vortaj instigoj, inkluzive de fotorealismaj, magiaj, futurismaj kaj, kompreneble, belaj bildoj.
Ĉi tiuj kapabloj reimagas kion signifas por homoj interrilati kun silicio, donante al ni la kapablon fari preskaŭ ajnan bildon, kiun ni povas antaŭvidi.
Dum ĉi tiuj modeloj evoluas aŭ la sekva genera paradigmo transprenas, homoj povos produkti bildojn, filmojn kaj aliajn mergajn spertojn kun nur penso.
En ĉi tiu afiŝo, ni diskutos la disvastiga modelo, stabila disvastigo, kiel ĝi funkcias, kaj disvastigmodela enpentrado lernilo, interalie.
Kio estas la Disvastigo-modelo?
Maŝinlernado-modeloj kiuj povas krei novajn datenojn de trejnaddatenoj estas referitaj kiel generaj modeloj. Aliaj generaj modeloj inkludas flu-bazitajn modelojn, variaciajn aŭtokodilojn, kaj generajn kontraŭajn retojn (GANoj).
Ĉiu povas generi bildojn de bonega kvalito. Disvastigo-modeloj lernas reakiri la datumojn inversigante ĉi tiun bru-aldonan procezon post difektado de la trejnaj datumoj aldonante bruon. Por diri ĝin alimaniere, disvastigmodeloj kapablas krei koherajn bildojn el la bruo.
Disvastigo-modeloj lernas enkondukante bruon al bildoj, kiujn la modelo poste regas la forigon de. Por produkti realismajn bildojn, la modelo tiam aplikas ĉi tiun senbruigan teknikon al hazardaj semoj.
Kondiĉigante la bildproduktadprocezon, tiuj modeloj povas esti uzitaj lige kun tekst-al-bilda gvidado por generi preskaŭ senliman nombron da bildoj de teksto sole. La semoj povas esti direktitaj per enigaĵoj de enkonstruaĵoj kiel CLIP por doni fortajn tekst-al-bildajn kapablojn.
Disvastigo-modeloj povas plenumi diversajn taskojn, inkluzive de kreado de bildoj, senbruigo de bildoj, enpentrado, eksterpentrado kaj bitdisvastigo.
Nun, kio estas stabila disvastigo?
Stable Diffusion estas maŝinlernada modelo por tekst-bazita bildkreado provizita de Stabileco.AI. Ĝi kapablas generi bildojn el teksto.
Komponantoj de stabila disvastigo
Stabila Disvastigo estas sistemo konsistanta el pluraj komponantoj kaj konceptoj. Ĝi ne estas ununura modelo. Kiam ni kontrolas malantaŭ la kapuĉo, la unua afero, kiun ni vidas, estas, ke ekzistas tekst-komprena komponanto, kiu konvertas tekstajn informojn en numeran reprezenton, kiu kaptas la konceptojn de la teksto.
Ni povas nomi ĉi tiun tekstokodilon Transformilo lingvomodelo (teknike: la tekstokodilo de CLIP-modelo). Ĝi prenas la enigtekston kaj generas liston de entjeroj (vektoro) por ĉiu vorto/ĵetono en la teksto. Tiuj datenoj tiam estas liveritaj al la Bilda Generatoro, kiu konsistas el pluraj komponentoj.
Estas du paŝoj en la bildgeneratoro:
1. Kreinto de Bildaj Informoj
La plej grava komponento en Stable Diffusion estas ĉi tiu elemento. Ĝi estas kie la plimulto de la plibonigo en rendimento super pli fruaj versioj estas farita.
Ĉi tiu komponanto pasas tra pluraj stadioj por provizi bildajn datumojn. La kreinto de bildinformoj funkcias nur ene de la bilda informspaco (aŭ latenta spaco).
Ĝi estas pli rapida ol pli fruaj disvastigmodeloj kiuj funkciigis en pikselspaco pro tiu karakterizaĵo. Teknike parolante, ĉi tiu komponanto estas kunmetita de planada algoritmo kaj UNet Neŭra reto.
La procezo, kiu okazas en ĉi tiu komponanto, estas nomata "disvastigo". Altkvalita bildo estas finfine produktita kiel rezulto de la informoj estanta prilaborita en ŝtupoj (per la venonta komponento, la bildmalĉifrilo).
2. Bilda Malĉifrilo
Uzante la datumojn kiujn ĝi ricevis de la informproduktanto, la bildmalĉifrilo kreas bildon. Ĝi nur ekzekutas unufoje por krei la finitan pikselan bildon ĉe la fino de la operacio.
Stabila Disvastigo Impainting lernilo
Stabila Disvastigo-bilda pentrado estas la tekniko de plenigado de mankantaj aŭ difektitaj areoj de bildo. La celo de bildpentraĵo estas kaŝi la fakton, ke la bildo estis restarigita.
Ĉi tiu tekniko estas ofte uzata por forigi nedeziratajn aĵojn de bildo aŭ por restarigi difektitajn areojn de historiaj fotoj. Stabila Disvastigo Enpentrado estas relative lastatempa maniero de enpentrado kiu donas esperigajn efikojn.
Sekvante la subajn instrukciojn, vi komencos esplori inpainting kaj modifi ekzistantajn fotojn se vi volas provi enpainting kun stabila disvastigo:
- Iru al Huggingface Stabila Disvastigo Impainting
- Alŝutu vian propran bildon
- Forigu la parton de via bildo, kiu devas esti anstataŭigita.
- Enigu vian prompton ĉi tie (kion vi volas aldoni anstataŭ tio, kion vi forigas)
- Elektu "kuru"
En la video supre, ni alŝutas bildon kun tri citronoj kaj interŝanĝas ilin kontraŭ pomoj. Mi persone rekomendas provi ĝin per viaj propraj fotoj kaj instigoj.
konkludo
Ĝenerale, konstanta disvastigo en pentrado estas bonega metodo por produkti falsajn bildojn aŭ filmetojn, kiuj ŝajnas esti ekstreme realaj. Dum ni iras al nova teknika progreso, estos pli kaj pli malfacile distingi inter aŭtentika kaj fraŭda dum teknologio progresas.
Swahir
La unua duono estas tute senrilata al la dua duono. Estus vere mojosa, se la aŭtoro estus klariginta kiel inpaint funkcias en la kadro de la modelo, kiun li klarigis pli frue, povus doni komprenojn. Sed ne! Tio postulintus veran komprenon, prefere ol kolekti kaj prilabori hazardan tekston.