Sisukord[Peida][Näita]
Suured tekstist pildiks muutvad mudelid tegid tehisintellekti arendamisel märkimisväärse edusamme, luues etteantud tekstiviipast kvaliteetse ja mitmekesise pildisünteesi.
Need mudelid ei suuda sünteesida subjektide ainulaadseid esitusi erinevates seadetes ega kopeerida subjektide välimust antud võrdluskomplektis.
Äsja välja antud tehnoloogiad, nagu OpenAI DALL.E2 või StabilityAI Stabiilne difusioon ja Midjourney võtavad internetti juba tormiliselt. Nüüd on aeg tulemusi kohandada. Aga kuidas?
Google DreamBooth AI on saabunud.
DreamBoothil on võimalus pildi teema ära tunda, selle algsest kontekstist lahti konstrueerida ja seejärel täpselt uude soovitud konteksti sünteesida. Lisaks saab seda kasutada praeguste AI-pildigeneraatoritega.
Selles artiklis vaatleme põhjalikult DreamBoothi, selle kasutamist, õpetust, piiranguid ja palju muud.
Mis on Dreambooth?
unistuste putkaGoogle esitles uhiuut tekstist pildiks levitamise mudelit. Google DreamBooth AI saab kasutada kirjalikku viipa juhisena, et luua lai valik fotosid kasutaja valitud objektist erinevates seadetes.
Bostoni ülikooli ja Google'i uurimisrühm töötas välja DreamBoothi, tipptasemel tehnika tekstist pildiks mudelite muutmiseks, mis on läbinud põhjaliku eelkoolituse.
Üldine kontseptsioon on üsna arusaadav: nad tahavad keelenägemise sõnastikku suurendada nii, et aeg-ajalt märgi ID-d seostatakse kohandatud teemadega, mida kasutajad saavad määratleda.
Mudeli peamine eesmärk on ühendada kasutajad tekstist pildiks difusioonimudel andes neile ressursid, mida nad vajavad nende valitud teema näidete fotorealistlike esituste loomiseks.
Seetõttu näib see tehnika hästi toimivat väljakutsete kokkuvõtte tegemiseks erinevates olukordades.
Google'i DreamBooth erineb varasematest teksti pildiks muutmise tööriistadest, nt DALL-E2, Stabiilne difusioonja Keskteekond, kuna see annab kasutajatele suurema kontrolli teemapildi üle, enne kui laseb neil tekstipõhiste sisendite abil hajutusmudelit manipuleerida.
FUNKTSIOONID
- DreamBooth AI võib täiustada tekstist pildiks muutmise mudelit 3–5 pildiga.
- DreamBooth AI abil saab luua originaalseid fotorealistlikke fotosid.
- Lisaks saab DreamBooth AI luua teemast fotosid mitme nurga alt.
taotlus
Kunstiesitused
See ülesanne erineb konkreetselt stiiliülekandest, mis säilitab lähtestseeni semantika, kaasates samal ajal algsesse stseeni teise pildi stiili.
Loomingulise lähenemisviisi alusel saab AI teha olulisi stseenimuudatusi, säilitades samas identifitseerimise ja teema eksemplari eripära.
Omandi muutmine
Teema eksemplari omadusi saab muuta DreamBoothi AI abil.
Lisavarustus
Põlvkonnamudelile eelnev tugev kompositsioon muudab DreamBoothi AI võime objekte kaunistada nii huvitavaks.
Rekontekstualiseerimine
DreamBooth AI võib toota teatud objekti eksemplari jaoks eristatavaid pilte, andes koolitatud mudelile lause, mis sisaldab kordumatut identifikaatorit ja klassi nimisõna.
See võib luua objekti ainulaadsetes, varem ennekuulmatutes poosides, liigendustes ja stseeni struktuuris, selle asemel et muuta ümbrust. Realistlikud peegeldused ja varjud, samuti subjekti ja ümbritsevate objektide vastasmõju.
Dreamboothi õpetus
Selles õpetuses järgime Google Collabi märkmik, ja ma tutvustan teile seda, mis paneb teid seda mõistma ja iseseisvalt kasutama.
GPU seadistamine ja teekide installimine
Esimene samm on teada saada, millised GPU ja VRAM-i tüübid on saadaval. Samuti on vaja installida mõned nõuded ja sõltuvused. Vajutage lihtsalt esitusnuppu ja oodake, kuni see lõpeb.
Looge Huggingface'is konto ja looge märk
Järgmine samm on Huggingface'i konto registreerimine. Kui olete lõpetanud, klõpsake paremas ülanurgas valikul Seaded. Jõuate järgmisele lehele.
Looge luba ja nimi, nagu siit nõutakse. Märk tuleks kopeerida ja kleepida allolevas lahtris olevasse Google'i koostöösse.
Installige xformers
Selles etapis võite lihtsalt vajutada esitusnuppu, et installida xformers, klõpsates käitusajal.
Ühendage Drive'iga
Nüüd peate lihtsalt selle lahtri käivitama, et luua ühendus Google Drive'iga.
Sisestage viip
Järgmises lahtris peate lihtsalt sisestama viipa.
Piltide üleslaadimine
Selles etapis peate lihtsalt üles laadima pildid, mida soovite treenida.
Treeni AI mudelit
See on kõige olulisem etapp, kuna kasutate DreamBoothi uue AI mudeli koolitamiseks kõigi teie esitatud võrdlusfotode põhjal. Peate piirduma kahe sisestusväljaga. "—eksemplari viip" on esimene parameeter. Siin peate sisestama väga eristatava nime.
Argument „–mõistete loend” on teine kriitiline sisestusväli. See tuleb ümber nimetada, et see vastaks jaotises „Muuda viipa” kasutatud nimega.
Looge AI-pilte
Selles etapis luuakse AI-pildid, kuhu saate sisestada tekstijuhised.
Dreamboothi piirangud
- Käsuviip muutub takistuseks teemas suure detailsusega iteratsioonide tegemisel. DreamBooth võib muuta objekti konteksti, kuid kui mudel soovib objekti ise muuta, on probleeme kaadriga.
- Teine probleem on väljundpildi liigne sobitamine sisendpildiga. Kui pilte pole piisavalt, ei pruugita teemat arvesse võtta või segatakse esitatud piltide kontekstiga. Kui küsitakse konteksti paaritu põlvkonna jaoks, toimub sama asi.
Järeldus
Väljundite loomiseks ühest tekstisisendist nõuab enamik tekstist pildiks muutvaid mudeleid miljoneid parameetreid ja teeke.
DreamBooth lihtsustab tarbijate jaoks sisu hankimist ja kasutamist, nõudes vaid kolme kuni viie teemafoto koos tekstilise taustaga sisestamist.
Jäta vastus