Мазмуну[Жашыруу][Көрсөтүү]
Чоң тексттен сүрөткө моделдер берилген текстти чакыруудан жогорку сапаттагы жана диверсификацияланган сүрөт синтезин өндүрүү менен AI өнүктүрүүдө олуттуу ийгиликтерге жетишти.
Бул моделдер ар кандай орнотуулардагы субъекттердин уникалдуу өкүлчүлүктөрүн синтездей албайт же берилген маалымдама топтомундагы субъекттердин көрүнүшүн кайталай албайт.
OpenAIдин DALL.E2 же StabilityAI сыяктуу жаңы чыгарылган технологиялар Туруктуу диффузия жана Midjourney интернетти бороон менен алып жатышат. Эми натыйжаларды ыңгайлаштырууга убакыт келди. Бирок кантип?
Google DreamBooth AI келди.
DreamBooth сүрөттүн темасын таанып, аны баштапкы контексттен ажыратып, анан аны жаңы керектүү контекстке так синтездөө мүмкүнчүлүгүнө ээ. Кошумча, аны учурдагы AI сүрөт генераторлору менен колдонсо болот.
Бул макалада биз DreamBooth, анын колдонулушу, окуу куралы, чектөөлөрү жана башка көптөгөн нерселерди карап чыгабыз.
Dreambooth деген эмне?
dreambooth, жаңы тексттен сүрөткө диффузиялык модели Google тарабынан сунушталган. Жазуу түрүндөгү эскертүү Google DreamBooth AI тарабынан ар кандай орнотууларда колдонуучунун тандаган темасынын кеңири диапазонундагы сүрөттөрдү түзүү үчүн жетекчилик катары колдонулушу мүмкүн.
Бостон университетинин изилдөө тобу жана Google DreamBooth программасын иштеп чыгышты, бул тексттен сүрөткө моделдерди өзгөртүү үчүн алдын ала кеңири тренингден өткөн.
Жалпы концепция абдан жөнөкөй: алар сейрек кездешүүчү токен идентификаторлору колдонуучулар аныктай ала турган ыңгайлаштырылган темалар менен байланышкандай кылып, тилди көрүү сөздүгүн көбөйтүүнү каалашат.
Моделдин негизги максаты - колдонуучуларды Интернетке туташтыруу тексттен сүрөткө диффузиялык модель аларга керектүү ресурстарды берүү менен, алар тандалган предметинин учурларынын фотореалдуу өкүлчүлүктөрүн өндүрүү үчүн.
Натыйжада, бул ыкма бир катар кырдаалдарда кыйынчылыктарды жалпылоо үчүн жакшы иштейт окшойт.
Google'дун DreamBooth мурунку текстти сүрөткө тартуу куралдарынан айырмаланат, мисалы DALL-E2, Туруктуу диффузия, жана Орто жол, бул колдонуучуларга текстке негизделген киргизүүлөрдү колдонуу менен диффузиялык моделди башкарууга уруксат берүүдөн мурун теманын сүрөтүн көбүрөөк көзөмөлдөө мүмкүнчүлүгүн берет.
Өзгөчөлүктөрү
- DreamBooth AI 3-5 сүрөт менен тексттен сүрөткө моделин жакшыртышы мүмкүн.
- Оригиналдуу фотореалисттик сүрөттөр DreamBooth AI менен түзүлүшү мүмкүн.
- Мындан тышкары, DreamBooth AI бир нече бурчтан теманын сүрөттөрүн түзө алат.
арыз
Art Renditions
Бул милдет баштапкы сахнага башка сүрөттүн стилин киргизүү менен булак сахнасынын семантикасын сактаган стилди которуудан өзгөчө айырмаланат.
Чыгармачыл мамиленин негизинде, AI идентификацияны жана теманын инстанцияларынын өзгөчөлүктөрүн сактоо менен сахнанын олуттуу өзгөртүүлөрүн жасай алат.
Менчик өзгөртүү
Предметтин инстанциясынын мүнөздөмөлөрү DreamBooth AI тарабынан өзгөртүлүшү мүмкүн.
Аксессуаризация
Муун моделине чейинки күчтүү композициялык DreamBooth AIнин объектилерди кооздоо жөндөмүн ушунчалык кызыктуу кылат.
Кайра контекстке салуу
DreamBooth AI үйрөтүлгөн моделге уникалдуу идентификаторду жана класстык зат атоочту камтыган сүйлөмдү берүү менен белгилүү бир предметтик мисал үчүн өзгөчөлөнгөн сүрөттөрдү чыгара алат.
Ал чөйрөнү өзгөртпөстөн, предметти уникалдуу, мурда болуп көрбөгөндөй позаларда, артикуляцияларда жана көрүнүш структурасында жаратышы мүмкүн. Реалдуу чагылдыруулар жана көлөкөлөр, ошондой эле субъект менен курчап турган объектилердин өз ара аракеттенүүсү.
Dreambooth окуу куралы
Бул окуу куралында биз ээрчийбиз Google Collab дептери, жана мен сага аны өз алдынча түшүнүүгө жана колдонууга жардам берем.
GPU орнотуу жана китепканаларды орнотуу
GPU жана VRAM кандай түрлөрү бар экенин билүү биринчи кадам болуп саналат. Бир нече талаптарды жана көз карандылыкты орнотуу да зарыл. Жөн гана ойнотуу баскычын басып, анын бүтүшүн күтүңүз.
Huggingfaceде аккаунт түзүп, токен жаратыңыз
Кийинки кадам - Huggingface аккаунтуна катталуу. Бүткөндөн кийин, жогорку оң бурчтагы орнотууларды чыкылдатыңыз. Сиз кийинки бетте келесиз.
Бул жерден талап кылынган белгини жана атын түзүңүз. Токен көчүрүлүп, төмөндөгү уячадагы Google кызматташтыгына чапталышы керек.
xformers орнотуу
Бул этапта, сиз жөн гана ойнотуу баскычын басып xformers орнотуу убактысын чыкылдатуу менен болот.
Drive'га туташуу
Эми Google Drive'га туташуу үчүн бул уячаны иштетишиңиз керек.
Суранычты киргизиңиз
Төмөнкү уячада сиз жөн гана сунушту киргизишиңиз керек.
Сүрөттөр жүктөлүүдө
Бул кадамда сиз жөн гана машыктыргыңыз келген сүрөттөрдү жүктөп беришиңиз керек.
Поезд AI модели
Бул эң маанилүү этап, анткени сиз DreamBooth программасын бардык тапшырган маалымдама сүрөттөрүңүздүн негизинде жаңы AI моделин үйрөтүү үчүн колдоносуз. Сиз эки киргизүү талаасына көңүлүңүздү чектешиңиз керек. "-мисалы чакыруу" биринчи параметр болуп саналат. Бул жерде сиз абдан так ат беришиңиз керек.
'-түшүнүк тизмеси' аргументи экинчи критикалык киргизүү талаасы болуп саналат. Анын аталышы "Насаатты өзгөртүү" бөлүмүндө колдонулганга дал келиши үчүн өзгөртүлүшү керек.
AI сүрөттөрүн түзүү
Бул этапта AI сүрөттөрү түзүлөт, анда сиз тексттик көрсөтмөлөрдү киргизе аласыз.
Dreambooth чектөөлөрү
- Буйрук сунушу темада жогорку деңгээлдеги деталдарды кайталоо үчүн тоскоолдук болуп калат. DreamBooth предметтин контекстин өзгөртө алат, бирок модель теманын өзүн өзгөрткүсү келсе, кадрда көйгөйлөр бар.
- Дагы бир маселе - чыгуучу сүрөттү киргизилген сүрөткө ашыкча тууралоо. Эгерде берилген сүрөттөр жетишсиз болсо, тема каралбай калышы мүмкүн же берилген сүрөттөрдүн контексти менен аралаштырылышы мүмкүн. Кызык муун үчүн контекст суралганда, ошол эле нерсе ишке ашат.
жыйынтыктоо
Бир текст киргизүүдөн жыйынтыктарды чыгаруу үчүн, тексттен сүрөткө моделдердин негизги бөлүгү миллиондогон параметрлерди жана китепканаларды талап кылат.
DreamBooth тексттик фон менен үч-беш темадагы сүрөттөрдү киргизүүнү талап кылуу менен керектөөчүлөр үчүн мазмунду алууну жана колдонууну жеңилдетет.
Таштап Жооп