Эң жогорку калибрдеги креативдүү портреттик тасмаларды чыгаруу компьютердик көрүү жана графикада чечүүчү жана эң керектүү маселе.
Күчтүү StyleGAN негизинде портреттик сүрөттү тонификациялоо үчүн бир нече эффективдүү моделдер сунушталганына карабастан, бул сүрөттөлүшкө багытталган ыкмалар видеолордо колдонулганда айкын кемчиликтерге ээ, мисалы, кадрдын белгиленген өлчөмү, бетти тегиздөө талабы, беттик эмес деталдардын жоктугу. , жана убактылуу ыраатсыздык.
Революциялык VToonify алкагы татаал башкарылуучу жогорку чечилиштеги портреттик видео стилин өткөрүп берүү үчүн колдонулат.
Биз бул макалада VToonify боюнча эң акыркы изилдөөнү, анын ичинде анын функционалдуулугун, кемчиликтерин жана башка факторлорду карап чыгабыз.
Vtoonify деген эмне?
VToonify алкагы настройкаланган жогорку чечилиштеги портреттик видео стилин өткөрүүгө мүмкүндүк берет.
VToonify кадр деталдарын сактап калуу үчүн коддогуч тарабынан алынган көп масштабдуу мазмун мүнөздөмөлөрүнүн негизинде жогорку сапаттагы көркөм портреттерди түзүү үчүн StyleGANдын орто жана жогорку чечилиштеги катмарларын колдонот.
Натыйжадагы толугу менен конволюциялык архитектура өзгөрүлмө өлчөмдөгү тасмалардагы тегизделбеген беттерди киргизүү катары кабыл алып, натыйжада чыгарууда реалдуу кыймылдар менен бүт бет аймактары пайда болот.
Бул алкак азыркы StyleGAN негизиндеги сүрөттү тонификациялоо моделдерине шайкеш келип, аларды видеону тонификациялоого кеңейтүүгө мүмкүндүк берет жана түстү жана интенсивдүүлүктү жөнгө салуу сыяктуу жагымдуу мүнөздөмөлөрдү мурастайт.
бул окуу коллекцияга негизделген жана үлгүлүү портреттик видео стилин өткөрүү үчүн Toonify жана DualStyleGAN негизинде VToonify эки нускасын киргизет.
Кеңири эксперименталдык тыянактар сунушталган VToonify алкагы өзгөрүлмө стилдин параметрлери менен жогорку сапаттагы, убактылуу ырааттуу көркөм портрет тасмаларын тартууда учурдагы ыкмалардан ашып түшөрүн көрсөтүп турат.
Изилдөөчүлөр камсыз кылат Google Colab дептери, андыктан колуңузду булгап аласыз.
Бул кантип иштейт?
Жөнгө салынуучу жогорку чечилиштеги портреттик видео стилин өткөрүү үчүн VToonify сүрөт котормо алкагынын артыкчылыктарын StyleGAN негизиндеги алкак менен айкалыштырат.
Ар кандай киргизүү өлчөмдөрүн жайгаштыруу үчүн, сүрөт которуу системасы толугу менен конволюциялык тармактарды колдонот. Нөлдөн баштап окутуу, экинчи жагынан, жогорку чечим жана башкарылуучу стилди берүү мүмкүн эмес кылат.
Алдын ала даярдалган StyleGAN модели StyleGAN негизиндеги рамкасында жогорку резолюцияда жана башкарылуучу стилди өткөрүү үчүн колдонулат, бирок ал белгиленген сүрөт өлчөмү жана деталдык жоготуулар менен чектелген.
StyleGAN гибриддик алкакта анын белгиленген өлчөмдөгү киргизүү функциясын жана азыраак чечилиштеги катмарларын жок кылуу менен өзгөртүлгөн, натыйжада сүрөт котормо алкагындагыдай толук конволюциялык коддер-генератор архитектурасы пайда болот.
Кадрдын чоо-жайын сактоо үчүн, генераторго кошумча мазмун талабы катары киргизүү кадрынын көп масштабдуу мазмундук мүнөздөмөлөрүн алуу үчүн коддоочуну үйрөтүңүз. Vtoonify StyleGAN моделинин стилин башкаруу ийкемдүүлүгүн анын маалыматтарын да, моделин да дистилляциялоо үчүн генераторго коюу менен мурастайт.
StyleGAN жана сунушталган Vtoonify чектөөлөрү
Көркөм портреттер биздин күнүмдүк жашообузда, ошондой эле искусство сыяктуу чыгармачылык бизнесте кеңири таралган. коомдук Медиа аватарлар, кинолор, көңүл ачуучу жарнамалар ж.б.у.с.
Өнүгүшү менен терең билим алуу технологиянын жардамы менен, азыр автоматташтырылган портреттик стилди өткөрүп берүү аркылуу чыныгы жүздүн сүрөттөрүнөн жогорку сапаттагы көркөм портреттерди түзүүгө болот.
Сүрөткө негизделген стилди өткөрүү үчүн жаратылган ар кандай ийгиликтүү жолдор бар, алардын көбү мобилдик тиркемелер түрүндө башталгыч колдонуучулар үчүн оңой жеткиликтүү. Акыркы бир нече жыл ичинде видеоматериалдар биздин социалдык медиа каналдарыбыздын негизги таянычы болуп калды.
Социалдык медианын жана эфемердик тасмалардын өсүшү ийгиликтүү жана кызыктуу видеолорду жаратуу үчүн портреттик видео стилин өткөрүү сыяктуу инновациялык видео монтаждоо талабын жогорулатты.
Учурдагы сүрөттөргө багытталган ыкмалар фильмдерге колдонулганда олуттуу кемчиликтерге ээ, алардын автоматташтырылган портреттик видео стилизациясында пайдалуулугун чектейт.
StyleGAN - бул портреттик сүрөт стилин өткөрүү моделин иштеп чыгуу үчүн жалпы негиз болуп саналат, анткени анын дараметин жөнгө салынуучу стилди башкаруу менен жогорку сапаттагы жүздөрдү жаратуу мүмкүнчүлүгү бар.
StyleGAN негизиндеги система (сүрөттүн тонификациясы деп да белгилүү) чыныгы жүздү StyleGAN жашыруун мейкиндигине коддойт жана андан кийин стилдештирилген версияны түзүү үчүн, натыйжада пайда болгон стилдин кодун көркөм портреттин маалымат топтомунда жакшы ыңгайлаштырылган башка StyleGANга колдонот.
StyleGAN беттери тегизделген жана белгиленген өлчөмдөгү сүрөттөрдү жаратат, бул реалдуу дүйнөдөгү кадрларда динамикалык жүздөрдү жактырбайт. Видеодогу бетти кесүү жана тегиздөө кээде беттин жарым-жартылай жана ыңгайсыз жаңсоолоруна алып келет. Окумуштуулар бул маселени StyleGANдын "туруктуу түшүм чектөөсү" деп аташат.
Тегизделбеген жүздөр үчүн StyleGAN3 сунушталды; бирок ал белгиленген сүрөт өлчөмүн гана колдойт.
Андан тышкары, жакында жүргүзүлгөн изилдөө тегизделбеген жүздөрдү коддоо тегизделген беттерге караганда бир топ татаал экенин аныктады. Беттин туура эмес коддолушу портреттик стилди өткөрүүгө зыян келтирет, натыйжада инсандыктын өзгөрүшү жана реконструкцияланган жана стилдештирилген кадрларда компоненттердин жетишсиздиги сыяктуу маселелер пайда болот.
Талкуулангандай, портреттик видео стилин өткөрүүнүн натыйжалуу ыкмасы төмөнкү маселелерди чечиши керек:
- Реалдуу кыймылдарды сактап калуу үчүн, мамиле түзүлбөгөн беттер жана ар түрдүү видео өлчөмдөрү менен күрөшүүгө жөндөмдүү болушу керек. Чоң видео өлчөмү же көрүүнүн кенен бурчу, жүздү кадрдан сыртка жылдырбай туруп, көбүрөөк маалымат алат.
- Бүгүнкү күндө кеңири колдонулган HD гаджеттери менен атаандашуу үчүн жогорку чечилиштеги видео керек.
- Ийкемдүү стилди башкаруу колдонуучуларга реалдуу колдонуучу өз ара аракеттенүү системасын иштеп чыгууда өз тандоосун өзгөртүү жана тандоо үчүн сунушталышы керек.
Бул максатта, изилдөөчүлөр VToonify, видеону тонификациялоо үчүн жаңы гибриддик негизди сунушташат. Туруктуу түшүм чектөөсүн жеңүү үчүн, изилдөөчүлөр алгач StyleGANда котормо эквивариациясын изилдешет.
VToonify жогорку чечилиштеги портреттик видео стилин которууга жетишүү үчүн StyleGAN негизиндеги архитектуранын артыкчылыктарын жана сүрөттөрдү которуу негизин айкалыштырат.
Төмөндө негизги салымдар болуп саналат:
- Изилдөөчүлөр StyleGANдын туруктуу түшүм чектөөсүн изилдеп, котормо эквивариансына негизделген чечимди сунушташат.
- Изилдөөчүлөр тегизделбеген жүздөрдү жана ар кандай видео өлчөмдөрүн колдогон, башкарылуучу жогорку чечилиштеги портреттик видео стилин өткөрүү үчүн уникалдуу толук конволюциялык VToonify алкагын сунушташты.
- Изилдөөчүлөр VToonifyды Toonify жана DualStyleGAN аркасында курушат жана коллекцияга негизделген жана үлгүлүү портреттик видео стилин өткөрүүгө мүмкүнчүлүк берүү үчүн маалыматтар жана моделдер боюнча өзөктөрдү конденсациялашат.
Vtoonify башка заманбап моделдер менен салыштыруу
Toonify
Бул StyleGAN аркылуу тегизделген беттерге коллекцияга негизделген стилди өткөрүү үчүн негиз катары кызмат кылат. Стиль коддорун алуу үчүн изилдөөчүлөр жүздөрдү тегиздеп, PSP үчүн 256256 сүрөттү кесип алышы керек. Toonify 1024*1024 стилдик коддору менен стилдештирилген натыйжаны түзүү үчүн колдонулат.
Акыр-аягы, алар видеодогу натыйжаны баштапкы ордуна кайра тегиздеп коюшат. Стилдештирилбеген аймак кара түскө коюлган.
DualStyleGAN
Бул StyleGAN негизинде үлгүлүү стилди өткөрүп берүү үчүн негиз болуп саналат. Алар Toonify сыяктуу эле маалыматтарды алдын ала жана андан кийинки иштетүү ыкмаларын колдонушат.
Pix2pixHD
Бул сүрөттү сүрөткө которуу модели, ал көбүнчө жогорку чечилиштеги түзөтүү үчүн алдын ала даярдалган моделдерди конденсациялоо үчүн колдонулат. Ал жупташкан маалыматтарды колдонуу менен үйрөтүлөт.
Окумуштуулар pix2pixHDди кошумча карта киргизүү катары колдонушат, анткени ал алынган талдоо картасын колдонот.
Биринчи тартип кыймылы
FOM типтүү сүрөт анимациясынын модели. Ал 256256 сүрөт боюнча үйрөтүлгөн жана башка сүрөт өлчөмү менен начар иштейт. Натыйжада, изилдөөчүлөр алгач FOM үчүн анимациялоо үчүн видео жээкчелерин 256*256га чейин масштабдашат, андан кийин натыйжаларды баштапкы өлчөмүнө чейин өзгөртүшөт.
Адилеттүү салыштыруу үчүн, FOM өзүнүн мамилесинин биринчи стилдештирилген кадрын шилтеме стилиндеги сүрөт катары колдонот.
ДаГАН
Бул 3D бет анимациясынын модели. Алар FOM сыяктуу эле маалыматтарды даярдоо жана кайра иштетүү ыкмаларын колдонушат.
артыкчылыктары
- Аны искусстводо, социалдык медиа аватарларында, кинолордо, көңүл ачуу жарнамаларында жана башкаларда колдонсо болот.
- Vtoonify метаверсте да колдонсо болот.
чектөөлөр
- Бул методология StyleGAN негизиндеги магистралдык системалардан маалыматтарды да, моделди да чыгарып, натыйжада маалыматтарга жана моделдин бурмаланышына алып келет.
- Артефакттар көбүнчө беттин стилдештирилген аймагы менен башка бөлүктөрүнүн ортосундагы өлчөмдөгү айырмачылыктардан улам пайда болгон.
- Бул стратегия бет аймактагы нерселер менен иштөөдө анча ийгиликтүү эмес.
жыйынтыктоо
Акыр-аягы, VToonify - бул стили менен башкарылуучу жогорку чечилиштеги видеону тонификациялоо үчүн негиз.
Бул алкак видеолорду иштетүүдө мыкты көрсөткүчтөргө жетишет жана StyleGAN негизиндеги сүрөттү тонификациялоо моделдерин конденсациялоо аркылуу структуралык стилди, түс стилин жана стилдик даражаны кеңири көзөмөлдөөгө мүмкүндүк берет. синтетикалык маалыматтар жана тармактык структуралар.
Таштап Жооп