Моделҳои диффузионӣ бо баровардани тӯфон тамоми ҷаҳонро фаро гирифтанд Далл-Е 2, Imagen Google, Диффузияи устуворва Миёни сафар, шарораи навоварӣ ва васеъ кардани ҳудуди омӯзиши мошинсозӣ.
Ин моделҳо метавонанд шумораи қариб номаҳдуди тасвирҳоро аз дархостҳои калимаҳо, аз ҷумла фотореалистӣ, ҷодугарӣ, футуристӣ ва, албатта, тасвирҳои зебо тавлид кунанд.
Ин қобилиятҳо аз нав тасаввур мекунанд, ки робитаи одамон бо кремний чӣ маъно дорад ва ба мо имкон медиҳад, ки амалан ҳама гуна тасвиреро, ки мо тасаввур карда метавонем, созем.
Вақте ки ин моделҳо инкишоф меёбанд ё парадигмаи тавлидкунандаи оянда, одамон метавонанд танҳо бо як фикр тасвирҳо, филмҳо ва дигар таҷрибаҳои фарогирро тавлид кунанд.
Дар ин мақола мо дар бораи он сӯҳбат хоҳем кард модели диффузия, диффузияи устувор, чӣ гуна кор кардани он ва модели диффузия дарс оид ба рангубор, аз ҷумла чизҳои дигар.
Модели диффузия чист?
Моделҳои омӯзиши мошинсозӣ, ки метавонанд аз маълумоти омӯзишӣ маълумоти нав эҷод кунанд, моделҳои тавлидкунанда номида мешаванд. Дигар моделҳои тавлидкунанда дорои моделҳои ба ҷараён асосёфта, автокодерҳои вариантӣ ва шабакаҳои генеративии рақобат (GANs) мебошанд.
Ҳар як метавонад тасвирҳои сифати аъло тавлид кунад. Моделҳои диффузия барқарор кардани маълумотро тавассути баргардонидани ин раванди илова кардани садо пас аз вайрон кардани маълумоти омӯзишӣ тавассути илова кардани садо ёд мегиранд. Ба ибораи дигар, моделҳои диффузия метавонанд аз садо тасвирҳои ҳамоҳанг созанд.
Моделҳои диффузия тавассути ҷорӣ кардани садо ба тасвирҳо омӯхта мешаванд, ки модел баъдтар бартараф кардани онҳоро азхуд мекунад. Барои тавлиди визуалии воқеӣ, модел баъдан ин усули безараргардониро ба тухмиҳои тасодуфӣ татбиқ мекунад.
Бо шартгузорӣ кардани раванди истеҳсоли тасвир, ин моделҳоро метавон дар якҷоягӣ бо дастури матн ба тасвир истифода бурд, то шумораи қариб бепоёни тасвирҳоро танҳо аз матн тавлид кунад. Тухмҳо метавонанд тавассути воридот аз дохилкуниҳо ба монанди CLIP равона карда шаванд, то қобилияти пурқуввати матн ба тасвирро фароҳам оранд.
Моделҳои диффузия метавонанд вазифаҳои гуногунро иҷро кунанд, аз ҷумла эҷоди тасвир, безараргардонии тасвир, ранг кардани ранг, берун ранг кардан ва паҳншавии бит.
Акнун, диффузияи устувор чист?
Диффузияи устувор як модели омӯзиши мошинсозӣ барои эҷоди тасвир дар асоси матн аз ҷониби пешниҳодшуда мебошад Субот.AI. Он қодир аст, ки аз матн тасвирҳо тавлид кунад.
Компонентхои диффузияи устувор
Диффузияи устувор системаест, ки аз якчанд ҷузъҳо ва мафҳумҳо иборат аст. Ин як модели ягона нест. Вақте ки мо паси сарпӯшро тафтиш мекунем, аввалин чизе, ки мо мебинем, ин аст, ки ҷузъи фаҳмиши матн мавҷуд аст, ки иттилооти матниро ба намоиши ададӣ табдил медиҳад, ки мафҳумҳои матнро мегирад.
Мо метавонем ин рамзгузори матниро трансформатор номида метавонем модели забон (аз ҷиҳати техникӣ: рамзгузори матнии модели CLIP). Он матни воридшударо мегирад ва рӯйхати ададҳои бутун (вектор) барои ҳар як калима/токен дар матн тавлид мекунад. Он маълумот баъдан ба Генератори тасвир, ки аз якчанд ҷузъҳо иборат аст, дода мешавад.
Дар генератори тасвир ду қадам вуҷуд дорад:
1. Офарандаи иттилооти тасвир
Ҷузъи асосии диффузияи устувор ин элемент аст. Маҳз дар он ҷо аксарияти беҳбудии кор нисбат ба версияҳои қаблӣ анҷом дода мешавад.
Ин ҷузъ барои пешниҳоди маълумоти тасвирӣ аз якчанд марҳила мегузарад. Офарандаи иттилооти тасвирӣ танҳо дар фазои иттилоотии тасвирӣ (ё фазои ниҳонӣ) амал мекунад.
Он нисбат ба моделҳои пештараи диффузия, ки бо ин хусусият дар фазои пиксел кор мекарданд, тезтар аст. Аз ҷиҳати техникӣ, ин ҷузъ аз алгоритми банақшагирӣ ва UNet иборат аст шабакаи нейралӣ.
Раванде, ки дар ин ҷузъ ба амал меояд, "диффузия" номида мешавад. Тасвири баландсифат дар ниҳоят дар натиҷаи коркарди иттилоот дар марҳила ба вуҷуд меояд (аз ҷониби ҷузъи навбатӣ, декодери тасвир).
2. Декодери тасвир
Бо истифода аз маълумоте, ки аз истеҳсолкунандаи иттилоот гирифта шудааст, декодер тасвир тасвир эҷод мекунад. Он танҳо як маротиба иҷро мешавад, то тасвири пикселии тайёрро дар анҷоми амалиёт эҷод кунад.
Омӯзиши тасвири диффузияи устувор
Рангсозии тасвири устувори диффузия ин усули пур кардани қитъаҳои гумшуда ё вайроншудаи тасвир мебошад. Мақсади расмкашӣ пинҳон кардани он аст, ки тасвир барқарор карда шудааст.
Ин усул аксар вақт барои нест кардани чизҳои номатлуб аз тасвир ё барқарор кардани минтақаҳои вайроншудаи аксҳои таърихӣ истифода мешавад. Рангкашии устувори диффузия як роҳи нисбатан навтарини рангкунӣ мебошад, ки таъсири умедбахш медиҳад.
Иҷрои дастурҳои дар поён овардашуда шуморо ба омӯхтани ранг кардан ва тағир додани аксҳои мавҷуда оғоз мекунад, агар шумо хоҳед, ки рангро бо паҳншавии устувор санҷед:
- Ба Huggingface равед Тасвири диффузияи устувор
- Тасвири шахсии худро бор кунед
- Қисми тасвири худро, ки бояд иваз карда шавад, тоза кунед.
- Саволи худро дар ин ҷо ворид кунед (он чизе ки шумо мехоҳед ба ҷои он чизе, ки хориҷ кардаед илова кунед)
- Интихоб кунед "давидан"
Дар видеои боло мо тасвиреро бо се лимӯ бор мекунем ва онҳоро бо себ иваз мекунем. Ман шахсан тавсия медиҳам, ки онро бо аксҳо ва маслиҳатҳои шахсии худ санҷед.
хулоса
Умуман, рангкунии устувори диффузия як усули аъло барои тавлиди тасвирҳо ё видеоҳои қалбакӣ мебошад, ки хеле воқеӣ ба назар мерасанд. Вақте ки мо ба пешрафти нави технологӣ ҳаракат мекунем, бо пешрафти технология фарқ кардани асл ва қаллобӣ душвортар мешавад.
Своҳир
Нимаи аввал ба нимаи дуюм тамоман алоќаманд нест. Агар муаллиф фаҳмонд, ки чӣ тавр inpaint дар доираи моделе, ки қаблан шарҳ дода буд, шарҳ медод, хеле хуб мебуд. Аммо не! Ин ба ҷои ҷамъоварӣ ва коркарди матни тасодуфӣ фаҳмиши воқеиро талаб мекард.