Змест[Схаваць][Паказаць]
Вялікія мадэлі пераўтварэння тэксту ў малюнак значна прасунуліся ў развіцці штучнага інтэлекту, ствараючы высакаякасны і разнастайны сінтэз малюнкаў з зададзенага тэкставага падказкі.
Гэтыя мадэлі не могуць сінтэзаваць унікальныя ўяўленні суб'ектаў у розных умовах або паўтарыць знешні выгляд суб'ектаў у дадзеным эталонным наборы.
Нядаўна выпушчаныя тэхналогіі, такія як DALL.E2 ад OpenAI або StabilityAI Стабільная дыфузія і Midjourney ужо захопліваюць інтэрнэт. Цяпер час наладзіць вынікі. Але як?
Google DreamBooth AI прыбыў.
DreamBooth мае магчымасць распазнаваць тэму малюнка, дэканструяваць яго з першапачатковага кантэксту, а затым дакладна сінтэзаваць яго ў новы патрэбны кантэкст. Акрамя таго, яго можна выкарыстоўваць з сучаснымі генератарамі малюнкаў AI.
У гэтым артыкуле мы падрабязна разгледзім DreamBooth, яго выкарыстанне, падручнік, яго абмежаванні і многае іншае.
Што такое Dreambooth?
будка сноў, зусім новую мадэль распаўсюджвання тэксту ў малюнак, прадставіла Google. Пісьмовая падказка можа быць выкарыстана ў якасці рэкамендацый Google DreamBooth AI для стварэння шырокага дыяпазону фатаграфій абранага карыстальнікам аб'екта ў розных наладах.
Даследчая група з Бостанскага ўніверсітэта і Google распрацавала DreamBooth, перадавую тэхніку для змены мадэляў пераўтварэння тэксту ў малюнак, якія прайшлі інтэнсіўную папярэднюю падрыхтоўку.
Агульная канцэпцыя даволі простая: яны хочуць павялічыць слоўнік моўнага бачання, каб незвычайныя ідэнтыфікатары токенаў былі звязаны з карыстацкімі тэмамі, якія карыстальнікі могуць вызначаць.
Асноўная мэта мадэлі - падключыць карыстальнікаў да мадэль дыфузіі тэксту ў малюнак шляхам прадастаўлення ім рэсурсаў, неабходных для стварэння фотарэалістычных адлюстраванняў асобнікаў абранага імі прадмета.
Як следства, гэты метад, здаецца, добра працуе для абагульнення праблем у розных сітуацыях.
Google DreamBooth адрозніваецца ад папярэдніх інструментаў пераўтварэння тэксту ў малюнак, такіх як АД-Е 2, Стабільная дыфузія, і Прамежак падарожжа, тым, што гэта дае карыстальнікам большы кантроль над выявай тэмы, перш чым дазволіць ім маніпуляваць мадэллю распаўсюджвання з дапамогай тэкставых уводаў.
Асаблівасці
- DreamBooth AI можа палепшыць мадэль пераўтварэння тэксту ў відарыс з 3-5 малюнкаў.
- З дапамогай DreamBooth AI можна ствараць арыгінальныя фотарэалістычныя фатаграфіі.
- Акрамя таго, DreamBooth AI можа ствараць фатаграфіі тэмы з розных ракурсаў.
дадатак
Мастацкія пераказы
Гэтая задача асабліва адрозніваецца ад перадачы стылю, якая захоўвае семантыку зыходнай сцэны пры ўключэнні стылю іншай выявы ў зыходную сцэну.
Грунтуючыся на творчым падыходзе, штучны інтэлект можа ўносіць значныя змены ў сцэну, захоўваючы ідэнтыфікацыю і спецыфіку асобніка тэмы.
Мадыфікацыя ўласцівасці
Характарыстыкі суб'екта могуць быць зменены DreamBooth AI.
Аксэсуары
Моцная кампазіцыя да мадэлі генерацыі - гэта тое, што робіць здольнасць DreamBooth AI упрыгожваць аб'екты такой цікавай.
Рэкантэкстуалізацыя
DreamBooth AI можа ствараць характэрныя выявы для асобніка пэўнага прадмета, даючы падрыхтаванай мадэлі сказ, які ўключае ўнікальны ідэнтыфікатар і назоўнік класа.
Ён можа стварыць аб'ект ва ўнікальных, раней нечуваных позах, артыкуляцыях і структуры сцэны, а не змяняць наваколле. Рэалістычныя адлюстраванні і цені, а таксама ўзаемадзеянне паміж суб'ектам і навакольнымі аб'ектамі.
Падручнік Dreambooth
У гэтым уроку мы будзем прытрымлівацца Сшытак Google Collab, і я правяду вас праз гэта, што дапаможа вам зразумець і выкарыстоўваць яго самастойна.
Настройка GPU і ўстаноўка бібліятэк
Першым крокам з'яўляецца высвятленне даступных відаў GPU і VRAM. Таксама неабходна ўсталяваць некалькі патрабаванняў і залежнасцей. Проста націсніце кнопку прайгравання і пачакайце, пакуль гульня скончыцца.
Стварыце ўліковы запіс на Huggingface і згенеруйце токен
Наступны крок - рэгістрацыя ўліковага запісу Huggingface. Калі вы скончыце, націсніце налады ў правым верхнім куце. Вы трапіце на наступную старонку.
Стварыце токен і імя, як запытана тут. Маркер трэба скапіяваць і ўставіць у ячэйку Google Collab унізе.
Усталяваць xformers
На гэтым этапе вы можаце проста націснуць кнопку прайгравання, каб усталяваць xformers, націснуўшы на час выканання.
Падключыцеся да Дыска
Цяпер вам проста трэба запусціць гэтую ячэйку, каб падключыцца да Google Drive.
Увядзіце падказку
У наступнай ячэйцы вам проста трэба ўвесці падказку.
Загрузка малюнкаў
На гэтым этапе вам проста трэба загрузіць фатаграфіі, якія вы хацелі трэніраваць.
Мадэль цягніка AI
Гэта самы важны этап, бо вы будзеце выкарыстоўваць DreamBooth для навучання новай мадэлі штучнага інтэлекту на аснове ўсіх прадстаўленых вамі даведачных фатаграфій. Вы павінны абмежаваць сваю ўвагу двума палямі ўводу. «—экзэмпляр падказка» з'яўляецца першым параметрам. Вы павінны ўказаць тут вельмі выразнае імя.
Аргумент '–concept list' з'яўляецца другім важным полем уводу. Яе трэба перайменаваць, каб яна адпавядала той, якая выкарыстоўваецца ў раздзеле «Змяніць падказку».
Стварэнне малюнкаў AI
На гэтым этапе будуць створаны малюнкі штучнага інтэлекту, дзе вы можаце ўвесці тэкставыя інструкцыі.
Абмежаванні Dreambooth
- Камандны радок становіцца перашкодай для выканання ітэрацый у тэме з высокай ступенню дэталізацыі. DreamBooth можа змяняць кантэкст аб'екта, але калі мадэль хоча змяніць аб'ект сама, узнікаюць праблемы з рамкай.
- Іншая праблема - гэта празмернае падганянне выхаднога малюнка да ўваходнага. Калі здымкаў будзе недастаткова, аб'ект можа быць не разгледжаны або змешаны з кантэкстам прадстаўленых малюнкаў. Калі запытваецца кантэкст для няцотнага пакалення, адбываецца тое ж самае.
заключэнне
Для атрымання вынікаў з аднаго ўводу тэксту асноўная частка мадэляў пераўтварэння тэксту ў малюнак патрабуе мільёнаў параметраў і бібліятэк.
DreamBooth спрашчае спажыўцам атрыманне і выкарыстанне змесціва, патрабуючы толькі ўводу трох-пяці тэматычных фатаграфій разам з тэкставым фонам.
Пакінуць каментар