Истеҳсоли филмҳои портретии эҷодии дорои калибри баландтарин вазифаи ҳалкунанда ва матлуб дар биниши компютерӣ ва графика мебошад.
Ҳарчанд якчанд моделҳои муассир барои тонизатсияи тасвири портрет дар асоси StyleGAN-и пурқувват пешниҳод карда шудаанд, ин усулҳои ба тасвир нигаронидашуда ҳангоми истифода бо видео нуқсонҳои равшан доранд, ба монанди андозаи чаҳорчӯбаи собит, талабот барои ҳамоҳангсозии чеҳра, набудани ҷузъиёти ғайричеҳра. , ва номутобиқатии вақт.
Чаҳорчӯбаи инқилобии VToonify барои ҳалли мушкили интиқоли услуби видеоии портрети баландсифат истифода мешавад.
Мо дар ин мақола таҳқиқоти охирини VToonify, аз ҷумла функсия, нуқсонҳо ва дигар омилҳоро баррасӣ хоҳем кард.
Vtoonify чист?
Чаҳорчӯбаи VToonify имкон медиҳад, ки интиқоли услуби видеоии портретии баландсифати танзимшавандаро фароҳам оранд.
VToonify қабатҳои миёна ва баландсифати StyleGAN-ро барои эҷод кардани портретҳои баландсифати бадеӣ дар асоси хусусиятҳои мундариҷаи бисёрмиқёс, ки аз ҷониби рамзгузор барои нигоҳ доштани тафсилоти чаҳорчӯба гирифта шудааст, истифода мебарад.
Дар натиҷа меъмории комилан конволютсионӣ чеҳраҳои ҳамоҳангнашавандаро дар филмҳои андозаи тағирёбанда ҳамчун вуруд мегирад, ки дар натиҷа минтақаҳои тамоми чеҳра бо ҳаракатҳои воқеӣ дар баромад ба вуҷуд меоянд.
Ин чаҳорчӯба бо моделҳои ҷории тонизатсияи тасвирҳо дар асоси StyleGAN мувофиқ аст ва имкон медиҳад, ки онҳо ба тоонификатсияи видео васеъ карда шаванд ва хусусиятҳои ҷолибро ба монанди мутобиқсозии танзимшавандаи ранг ва шиддатро мерос мегиранд.
ин омӯзиши ду намунаи VToonify-ро дар асоси Toonify ва DualStyleGAN барои интиқоли услуби видеоии портрет дар асоси коллексия ва намунавӣ муаррифӣ мекунад.
Бозёфтҳои васеъи таҷрибавӣ нишон медиҳанд, ки чаҳорчӯбаи пешниҳодшудаи VToonify аз равишҳои мавҷуда дар сохтани филмҳои портретии бадеии босифат ва муваққатӣ бо параметрҳои услуби тағйирёбанда бартарӣ дорад.
Муҳаққиқон пешниҳод мекунанд Дафтарчаи Google Colab, то шумо метавонед дастҳои худро дар он ифлос кунед.
Чӣ тавр он кор мекунад?
Барои анҷом додани интиқоли танзимшавандаи услуби видеоии портретии баландсифат, VToonify бартариҳои чаҳорчӯбаи тарҷумаи тасвирро бо чаҳорчӯбаи дар асоси StyleGAN асосёфта муттаҳид мекунад.
Барои ҷойгир кардани андозаҳои гуногуни вуруд, системаи тарҷумаи тасвирҳо шабакаҳои комилан конволютсиониро истифода мебарад. Аз тарафи дигар, омӯзиш аз сифр интиқоли услуби баландсифат ва идорашавандаро ғайриимкон месозад.
Модели қаблан омӯзонидашудаи StyleGAN дар чаҳорчӯбаи ба StyleGAN асосёфта барои интиқоли услуби баландсифат ва назоратшаванда истифода мешавад, гарчанде ки он бо андозаи собит тасвир ва талафоти тафсилот маҳдуд аст.
StyleGAN дар чаҳорчӯбаи гибридӣ тавассути нест кардани хусусияти вуруди андозаи собит ва қабатҳои ҳалли пасти он тағир дода мешавад, ки дар натиҷа як меъмории комилан конволютсионии рамзгузор-генератор ба сохтори чаҳорчӯбаи тарҷумаи тасвир монанд мешавад.
Барои нигоҳ доштани тафсилоти чаҳорчӯба, рамзгузорро омӯзед, то хусусиятҳои мундариҷаи чандмиқёси чаҳорчӯбаи вурудро ҳамчун талаботи иловагии мундариҷа ба генератор истихроҷ кунад. Vtoonify чандирии идоракунии услуби модели StyleGAN-ро тавассути гузоштани он ба генератор барои тоза кардани маълумот ва модели он мерос мегирад.
Маҳдудиятҳои StyleGAN & Vtoonify пешниҳодшуда
Портретҳои бадеӣ дар ҳаёти ҳаррӯзаи мо ва инчунин дар тиҷорати эҷодӣ, ба монанди санъат, ВАО иҷтимоӣ аватарҳо, филмҳо, таблиғи фароғатӣ ва ғайра.
Бо рушди омӯзиши чуқур Технология, ҳоло имкон дорад, ки портретҳои бадеии баландсифатро аз аксҳои чеҳраи воқеӣ бо истифода аз интиқоли услуби портретии худкор эҷод кунед.
Роҳҳои гуногуни муваффақе вуҷуд доранд, ки барои интиқоли услуби тасвирӣ сохта шудаанд, ки бисёре аз онҳо барои корбарони ибтидоӣ дар шакли замимаҳои мобилӣ ба осонӣ дастрасанд. Маводҳои видеоӣ дар тӯли чанд соли охир ба зудӣ ба як пойгоҳи шабакаҳои иҷтимоии мо табдил ёфтанд.
Афзоиши васоити ахбори иҷтимоӣ ва филмҳои эфемерӣ талаботро ба таҳрири инноватсионии видео, ба монанди интиқоли услуби видеои портретӣ барои тавлиди видеоҳои муваффақ ва ҷолиб афзоиш дод.
Усулҳои мавҷудаи ба тасвир нигаронидашуда ҳангоми татбиқи филмҳо нуқсонҳои назаррас доранд ва фоиданокии онҳоро дар услуби автоматии видеои портретӣ маҳдуд мекунанд.
StyleGAN як пояи умумӣ барои таҳияи модели интиқоли услуби расмҳои портретӣ бо сабаби қобилияти эҷоди чеҳраҳои баландсифат бо идоракунии услуби танзимшаванда мебошад.
Системаи ба StyleGAN асосёфта (инчунин бо номи тоонификатсияи тасвир маълум аст) чеҳраи воқеиро ба фазои ниҳонии StyleGAN рамзгузорӣ мекунад ва сипас рамзи услуби натиҷавиро ба дигар StyleGAN, ки дар маҷмӯаи портрети бадеӣ танзим карда шудааст, барои сохтани версияи услубӣ истифода мебарад.
StyleGAN тасвирҳоро бо чеҳраҳои мувофиқ ва андозаи муқарраршуда эҷод мекунад, ки ин ба чеҳраҳои динамикӣ дар наворҳои воқеии ҷаҳон маъқул нест. Буридани чеҳра ва ҳамворкунӣ дар видео баъзан ба чеҳраи қисман ва имову ишораҳои ногувор оварда мерасонад. Муҳаққиқон ин масъаларо StyleGAN-ро "маҳдудияти ҳосили собит" меноманд.
Барои чеҳраҳои номувофиқ, StyleGAN3 пешниҳод шудааст; аммо он танҳо андозаи тасвири муқарраршударо дастгирӣ мекунад.
Гузашта аз ин, як тадқиқоти ба наздикӣ нишон дод, ки рамзгузории чеҳраҳои номувофиқ нисбат ба чеҳраҳои мувофиқ мушкилтар аст. Рамзгузории нодурусти чеҳра барои интиқоли услуби портрет зараровар аст, ки боиси мушкилот ба монанди тағир додани шахсият ва ҷузъҳои гумшуда дар чаҳорчӯбаҳои барқароршуда ва услубӣ мегардад.
Тавре ки баррасӣ шуд, як усули самараноки интиқоли услуби видеои портретӣ бояд масъалаҳои зеринро ҳал кунад:
- Барои нигоҳ доштани ҳаракатҳои воқеӣ, равиш бояд қодир бошад, ки бо чеҳраҳои номувофиқ ва андозаҳои гуногуни видео мубориза барад. Андозаи бузурги видео ё кунҷи васеи назар метавонад маълумоти бештарро ба даст орад, дар ҳоле ки чеҳра аз чаҳорчӯба берун рафтанро нигоҳ медорад.
- Барои рақобат бо гаҷетҳои HD маъмулан имрӯза, видеои баландсифат лозим аст.
- Назорати услуби чандир бояд ба корбарон пешниҳод карда шавад, то ҳангоми таҳияи системаи воқеии муоширати корбарон интихоби худро тағир диҳанд.
Бо ин мақсад, муҳаққиқон VToonify -ро пешниҳод мекунанд, ки чаҳорчӯбаи гибридии нав барои тоонификатсияи видео. Барои бартараф кардани маҳдудияти собит ҳосил, муҳаққиқон аввал эквиварианти тарҷумаро дар StyleGAN меомӯзанд.
VToonify бартариҳои меъмории StyleGAN асосёфта ва чаҳорчӯбаи тарҷумаи тасвирро барои ноил шудан ба интиқоли танзимшавандаи услуби видеоии портретӣ муттаҳид мекунад.
Инҳо саҳми асосӣ мебошанд:
- Тадқиқотчиён маҳдудияти ҳосили устувори StyleGAN-ро таҳқиқ мекунанд ва ҳалли худро дар асоси эквиварианти тарҷума пешниҳод мекунанд.
- Тадқиқотчиён чаҳорчӯбаи беназири комилан конволютсионии VToonify-ро барои интиқоли услуби видеоии баландсифати портретӣ пешниҳод мекунанд, ки чеҳраҳои ҳамоҳангнашуда ва андозаҳои гуногуни видеоро дастгирӣ мекунад.
- Тадқиқотчиён VToonify-ро дар асоси Toonify ва DualStyleGAN бунёд мекунанд ва сутунмӯҳраҳоро ҳам аз ҷиҳати маълумот ва ҳам модел ҷамъ мекунанд, то интиқоли услуби видеоии портрет дар асоси коллексия ва намунавӣ дошта бошанд.
Муқоисаи Vtoonify бо дигар моделҳои муосир
Toonify
Он ҳамчун асос барои интиқоли услуб дар асоси коллексия дар чеҳраҳои мувофиқ бо истифода аз StyleGAN хизмат мекунад. Барои дарёфти рамзҳои услуб, муҳаққиқон бояд чеҳраҳоро мувофиқат кунанд ва 256256 аксро барои PSP буранд. Toonify барои тавлиди натиҷаи услубӣ бо рамзҳои услуби 1024 * 1024 истифода мешавад.
Ниҳоят, онҳо натиҷаро дар видео ба макони аслии он дубора мувофиқ мекунанд. Майдони услубнашуда сиёҳ карда шудааст.
DualStyleGAN
Он асоси интиқоли услуби намунавӣ дар асоси StyleGAN мебошад. Онҳо ҳамон усулҳои коркарди пеш аз ва баъд аз маълумотро ҳамчун Toonify истифода мебаранд.
Pix2pixHD
Ин як модели тарҷумаи тасвир ба тасвир аст, ки маъмулан барои ҷамъ кардани моделҳои қаблан омӯзонидашуда барои таҳрири баландсифат истифода мешавад. Он бо истифода аз маълумоти ҷуфтшуда таълим дода мешавад.
Муҳаққиқон pix2pixHD-ро ҳамчун вуруди иловагии харитаи намунаи худ истифода мебаранд, зеро он харитаи таҳлили истихроҷшударо истифода мебарад.
Ҳаракати фармоиши аввал
FOM як модели маъмулии аниматсионӣ мебошад. Он дар 256256 расм таълим дода шудааст ва бо дигар андозаҳои тасвирҳо бад кор мекунад. Дар натиҷа, муҳаққиқон аввал чаҳорчӯбаҳои видеоиро ба андозаи 256 * 256 барои FOM барои аниматсия васеъ мекунанд ва сипас натиҷаҳоро ба андозаи аслии худ тағир медиҳанд.
Барои муқоисаи одилона, FOM чаҳорчӯбаи услубии аввалини худро ҳамчун тасвири услуби истинод ба кор мебарад.
ДаГАН
Ин як модели аниматсионии чеҳраи 3D мебошад. Онҳо ҳамон усулҳои омодасозӣ ва коркарди маълумотро ҳамчун FOM истифода мебаранд.
афзалиятҳо
- Он метавонад дар санъат, аватарҳои васоити ахбори иҷтимоӣ, филмҳо, таблиғоти фароғатӣ ва ғайра истифода шавад.
- Vtoonify инчунин метавонад дар метаверс истифода шавад.
Маҳдудияти
- Ин методология ҳам маълумот ва ҳам моделро аз шохаҳои асоси StyleGAN мегирад, ки дар натиҷа маълумот ва ғарази моделро ба вуҷуд меорад.
- Артефактҳо асосан аз фарқияти андозаи байни минтақаи рӯи услубӣ ва бахшҳои дигар ба вуҷуд меоянд.
- Ин стратегия ҳангоми кор бо чизҳо дар минтақаи рӯбарӯ камтар муваффақ аст.
хулоса
Ниҳоят, VToonify як чаҳорчӯба барои тонизатсияи видеоии баландсифати аз рӯи услуб идорашаванда мебошад.
Ин чаҳорчӯба дар коркарди видеоҳо ба иҷрои аъло ноил мешавад ва имкон медиҳад, ки услуби сохторӣ, услуби ранг ва дараҷаи услуб тавассути конденсатсия кардани моделҳои тоонификатсияи тасвир дар асоси StyleGAN аз нигоҳи ҳардуи онҳо назорати васеъ дошта бошанд. маълумоти синтетикӣ ва сохторҳои шабакавӣ.
Дин ва мазҳаб