Saturs[Paslēpt][Rādīt]
Lieli teksta pārveides modeļi ir ievērojami uzlabojuši mākslīgā intelekta attīstību, radot augstas kvalitātes un daudzveidīgu attēla sintēzi no noteiktas teksta uzvednes.
Šie modeļi nespēj sintezēt unikālus priekšmetu attēlojumus dažādos iestatījumos vai atkārtot objektu izskatu noteiktā atsauces kopā.
Tikko izlaistas tehnoloģijas, piemēram, OpenAI DALL.E2 vai StabilityAI Stabila difūzija un Midjourney internetu jau pārņem vētra. Tagad ir pienācis laiks pielāgot rezultātus. Tomēr kā?
Google DreamBooth AI ir ieradies.
DreamBooth ir iespēja atpazīt attēla tēmu, dekonstruēt to no sākotnējā konteksta un pēc tam precīzi sintezēt to jaunā vēlamā kontekstā. Turklāt to var izmantot ar pašreizējiem AI attēlu ģeneratoriem.
Šajā rakstā mēs padziļināti apskatīsim DreamBooth, tā izmantošanu, pamācību, ierobežojumus un daudz ko citu.
Kas ir Dreambooth?
sapņu kabīne, pavisam jaunu teksta-attēlu difūzijas modeli, prezentēja Google. Google DreamBooth AI var izmantot rakstisku uzvedni, lai dažādos iestatījumos ģenerētu plašu fotoattēlu klāstu ar lietotāja atlasīto objektu.
Pētnieku grupa no Bostonas Universitātes un Google izstrādāja DreamBooth — visprogresīvāko tehniku teksta pārveidošanas modeļu pārveidošanai, kuriem ir veikta plaša iepriekšēja apmācība.
Vispārējā koncepcija ir diezgan vienkārša: viņi vēlas paplašināt valodas redzējuma vārdnīcu, lai neparasti marķieru ID tiktu saistīti ar pielāgotām tēmām, kuras lietotāji var definēt.
Modeļa galvenais mērķis ir savienot lietotājus ar teksta-attēla difūzijas modelis piešķirot viņiem nepieciešamos resursus, lai radītu fotoreālistiskus viņu izvēlētās tēmas gadījumu attēlojumus.
Rezultātā šī metode, šķiet, labi darbojas, lai apkopotu problēmas dažādās situācijās.
Google DreamBooth atšķiras no iepriekšējiem teksta pārveides rīkiem, piemēram, DALL-E2, Stabila difūzija, un Pusceļš, jo tas sniedz lietotājiem lielāku kontroli pār tēmas attēlu, pirms viņi ļauj manipulēt ar difūzijas modeli, izmantojot teksta ievadi.
Apkalpošana
- DreamBooth AI varētu uzlabot teksta pārveides modeli ar 3–5 attēliem.
- Oriģinālus fotoreālistiskus fotoattēlus var izveidot, izmantojot DreamBooth AI.
- Turklāt DreamBooth AI var izveidot tēmas fotoattēlus no vairākiem leņķiem.
iesniegums
Mākslas iestudējumi
Šis uzdevums īpaši atšķiras no stila pārsūtīšanas, kas saglabā avota ainas semantiku, vienlaikus iekļaujot cita attēla stilu sākotnējā ainā.
Pamatojoties uz radošo pieeju, AI var veikt nozīmīgas ainas izmaiņas, vienlaikus saglabājot identifikācijas un tēmas gadījumu specifiku.
Īpašuma modifikācija
Priekšmeta instances raksturlielumus var modificēt DreamBooth AI.
Aksesuāri
Spēcīgā kompozīcija pirms paaudzes modeļa padara DreamBooth AI spēju izgreznot objektus tik interesantu.
Rekontekstualizācija
DreamBooth AI var radīt atšķirīgus attēlus noteiktai tēmai, sniedzot apmācītam modelim teikumu, kas ietver unikālo identifikatoru un klases lietvārdu.
Tas var ģenerēt objektu unikālās, iepriekš nedzirdētās pozās, artikulācijās un ainas struktūrā, nevis mainīt apkārtni. Reālistiski atspulgi un ēnas, kā arī mijiedarbība starp objektu un apkārtējiem objektiem.
Dreambooth apmācība
Šajā apmācībā mēs ievērosim Google Collab piezīmju grāmatiņa, un es iepazīstināšu jūs ar to, kas liks jums to saprast un izmantot patstāvīgi.
GPU iestatīšana un bibliotēku instalēšana
Pirmais solis ir noskaidrot, kādi GPU un VRAM veidi ir pieejami. Ir arī jāinstalē dažas prasības un atkarības. Vienkārši nospiediet atskaņošanas pogu un pēc tam pagaidiet, līdz tas beidzas.
Izveidojiet kontu vietnē Huggingface un ģenerējiet marķieri
Nākamais solis ir reģistrēties Huggingface kontam. Kad esat pabeidzis, noklikšķiniet uz Iestatījumi augšējā labajā stūrī. Jūs nonāksit nākamajā lapā.
Izveidojiet marķieri un nosaukumu, kā pieprasīts šeit. Marķieris ir jānokopē un jāielīmē Google sadarbības programmā tālāk esošajā šūnā.
Instalējiet xformers
Šajā posmā varat vienkārši nospiest atskaņošanas pogu, lai instalētu xformers, noklikšķinot uz izpildlaika.
Izveidojiet savienojumu ar disku
Tagad jums vienkārši jāpalaiž šī šūna, lai izveidotu savienojumu ar Google disku.
Ievadiet uzvedni
Nākamajā šūnā jums vienkārši jāievada uzvedne.
Attēlu augšupielāde
Šajā darbībā jums vienkārši jāaugšupielādē attēli, kurus vēlaties apmācīt.
Apmācīt AI modeli
Šis ir vissvarīgākais posms, jo jūs izmantosit DreamBooth, lai apmācītu jaunu AI modeli, pamatojoties uz visām jūsu iesniegtajām atsauces fotogrāfijām. Jums jāpievērš uzmanība diviem ievades laukiem. “— instances uzvedne” ir pirmais parametrs. Šeit ir jānorāda ļoti atšķirīgs nosaukums.
Arguments “–jēdzienu saraksts” ir otrais kritiskais ievades lauks. Tas ir jāpārdēvē, lai tas atbilstu sadaļā "Mainīt uzvedni" izmantotajam.
Ģenerējiet AI attēlus
Šajā posmā tiks izveidoti AI attēli, kuros varēsiet ievadīt teksta instrukcijas.
Dreambooth ierobežojumi
- Komandu uzvedne kļūst par šķērsli, lai tēmā veiktu iterācijas ar augstu detalizācijas pakāpi. DreamBooth var mainīt objekta kontekstu, bet, ja modelis vēlas mainīt pašu objektu, ir problēmas ar kadru.
- Vēl viena problēma ir izvades attēla pārmērīga pielāgošana ievades attēlam. Ja nav pietiekami daudz attēlu, objekts var netikt ņemts vērā vai var tikt sajaukts ar iesniegto attēlu kontekstu. Kad tiek jautāts konteksts nepāra paaudzei, notiek tas pats.
Secinājumi
Lai iegūtu izvadi no vienas teksta ievades, lielākajai daļai teksta pārveides attēlu modeļu ir nepieciešami miljoniem parametru un bibliotēku.
DreamBooth vienkāršo satura iegūšanu un lietošanu patērētājiem, pieprasot ievadīt tikai trīs līdz piecas tēmas fotogrāfijas kopā ar teksta fonu.
Atstāj atbildi