It is in krúsjale en winsklike taak yn kompjûterfisy en grafiken om kreative portretfilms fan it heechste kaliber te produsearjen.
Hoewol ferskate effektive modellen foar portretbylding basearre op 'e potente StyleGAN binne foarsteld, hawwe dizze ôfbyldingsrjochte techniken dúdlike neidielen as se wurde brûkt mei fideo's, lykas de fêste framegrutte, de eask foar gesichtsôfstimming, it ûntbrekken fan net-gesichtsdetails , en tydlike ynkonsistinsje.
In revolúsjonêr VToonify-ramt wurdt brûkt om de lestich kontrolearre hege resolúsje portretfideostyl oerdracht oan te pakken.
Wy sille de meast resinte stúdzje oer VToonify yn dit artikel ûndersykje, ynklusyf de funksjonaliteit, neidielen en oare faktoaren.
Wat is Vtoonify?
VToonify-ramt soarget foar oanpasbere oerdracht fan portretfideostyl mei hege resolúsje.
VToonify brûkt StyleGAN's mid- en hege resolúsje-lagen om artistike portretten fan hege kwaliteit te meitsjen basearre op multi-skaal ynhâldskaaimerken ophelle troch in encoder om framedetails te behâlden.
De resultearjende folslein konvolúsjonele arsjitektuer nimt net-ôfstimd gesichten yn films mei fariabele grutte as ynput, wat resulteart yn regio's fan it hiele gesicht mei realistyske bewegingen yn 'e útfier.
Dit ramt is kompatibel mei aktuele StyleGAN-basearre ôfbyldings-toonifikaasjemodellen, wêrtroch't se útwreide wurde kinne nei fideo-toonifikaasje, en erft oantreklike skaaimerken lykas oanpasbere kleur en yntinsiteit oanpassing.
Dit studearje yntrodusearret twa instantiations fan VToonify basearre op Toonify en DualStyleGAN foar resp. kolleksje-basearre en foarbyld-basearre portret video styl oerdracht.
Wiidweidige eksperimintele befinings litte sjen dat it foarstelde VToonify-ramt de besteande oanpak presteart by it meitsjen fan heechweardige, tydlik gearhingjende artistike portretfilms mei fariabele stylparameters.
Undersikers jouwe de Google Colab notebook, sadat jo jo hannen der smoarch op krije kinne.
Hoe wurket it?
Om ferstelbere hege-resolúsje portretfideostyl oerdracht te realisearjen, kombinearret VToonify de foardielen fan it ôfbyldingsoersettingskader mei it StyleGAN-basearre ramt.
Om wikseljende ynfiergrutte te foldwaan, brûkt it ôfbyldingsoersetsysteem folslein konvolúsjonele netwurken. Training fanôf it begjin makket oan 'e oare kant hege resolúsje en kontroleare styltransmission ûnmooglik.
It foarôf oplaat StyleGAN-model wurdt brûkt yn it StyleGAN-basearre ramt foar hege resolúsje en kontroleare stylferfier, hoewol it is beheind ta fêste ôfbyldingsgrutte en detailferlies.
StyleGAN wurdt wizige yn it hybride ramt troch de ynfierfunksje fan fêste grutte en lagen mei lege resolúsje te wiskjen, wat resulteart yn in folslein konvolúsjonele encoder-generator-arsjitektuer fergelykber mei dy fan it ôfbyldingsoersettingskader.
Om framedetails te behâlden, trainje in encoder om skaaimerken fan mearskalige ynhâld fan it ynfierframe te ekstrahearjen as in ekstra ynhâldeask foar de generator. Vtoonify erft de stylkontrôlefleksibiliteit fan it StyleGAN-model troch it yn 'e generator te setten om sawol syn gegevens as model te destillearjen.
Beheinings fan StyleGAN & foarstelde Vtoonify
Artistike portretten binne gewoan yn ús deistich libben, lykas yn kreative bedriuwen lykas keunst, sosjale media avatars, films, entertainment reklame, ensafuorthinne.
Mei de ûntwikkeling fan djip learen technology, is it no mooglik artistike portretten fan hege kwaliteit te meitsjen fan echte gesichtsfoto's mei automatisearre portretstyloerdracht.
D'r binne in ferskaat oan suksesfolle manieren makke foar ôfbylding-basearre styloerdracht, wêrfan in protte maklik tagonklik binne foar begjinnende brûkers yn 'e foarm fan mobile applikaasjes. Fideomateriaal is de lêste jierren rap in steunpilaar wurden fan ús sosjale mediafeeds.
De opkomst fan sosjale media en efemere films hat de fraach nei ynnovative fideobewurking ferhege, lykas oerdracht fan portretfideostyl, om suksesfolle en ynteressante fideo's te generearjen.
Besteande ôfbyldingsrjochte techniken hawwe signifikante neidielen as se tapast wurde op films, en beheine har brûkberens yn automatisearre portretfideo-stilisaasje.
StyleGAN is in mienskiplike rêchbonke foar it ûntwikkeljen fan in model foar oerdracht fan portretfotostyl fanwegen syn fermogen om gesichten fan hege kwaliteit te meitsjen mei ferstelbere stylbehear.
In StyleGAN-basearre systeem (ek bekend as foto-toonifikaasje) kodearret in wirklik gesicht yn 'e latinte StyleGAN-romte en tapast dan de resultearjende stylkoade oan op in oare StyleGAN fyn ôfstimd op 'e artistike portret-dataset om in stilisearre ferzje te meitsjen.
StyleGAN makket foto's mei rjochte gesichten en op in fêste grutte, dy't gjin dynamyske gesichten favorisearje yn bylden út 'e echte wrâld. Gesichtsknipjen en ôfstimming yn 'e fideo resultearje soms yn in diel gesicht en ûnhandige stjoerings. Undersikers neame dit probleem StyleGAN's 'beheining foar fêste gewaaks'.
Foar unaligned gesichten is StyleGAN3 foarsteld; lykwols, it stipet allinnich in set ôfbylding grutte.
Fierder hat in resinte stúdzje ûntdutsen dat it kodearjen fan unaligne gesichten útdaagjender is dan rjochte gesichten. Ferkearde gesichtskodearring is skealik foar oerdracht fan portretstyl, wat resulteart yn problemen lykas identiteitsferoaring en ûntbrekkende komponinten yn 'e rekonstruearre en stylfolle frames.
Lykas besprutsen, moat in effisjinte technyk foar oerdracht fan portretfideostyl de folgjende problemen behannelje:
- Om realistyske bewegingen te behâlden, moat de oanpak kinne omgean mei unaligne gesichten en farieare fideogrutte. In grutte fideogrutte, as in brede sichthoeke, kin mear ynformaasje fange, wylst it gesicht bliuwt fan it ferpleatsen fan it frame.
- Om te konkurrearjen mei de hjoeddeistich brûkte HD-gadgets, is fideo mei hege resolúsje nedich.
- Fleksibele stylkontrôle moat wurde oanbean foar brûkers om har kar te feroarjen en te kiezen by it ûntwikkeljen fan in realistysk brûkersynteraksjesysteem.
Foar dat doel suggerearje ûndersikers VToonify, in nij hybride ramt foar fideo-toonifikaasje. Om de fêste gewaaksbeperking te oerwinnen, studearje ûndersikers earst oersettingslykweardigens yn StyleGAN.
VToonify kombineart de foardielen fan 'e StyleGAN-basearre arsjitektuer en it ramt foar ôfbyldingsoersetting om ferstelbere hege resolúsje portretfideostyl oerdracht te berikken.
De folgjende binne de wichtichste bydragen:
- Ûndersikers ûndersiikje StyleGAN's fêste gewaaks beheining en stelle in oplossing basearre op oersetting lykweardigens.
- Undersikers presintearje in unyk folslein konvolúsjoneel VToonify-ramt foar kontroleare portretfideostyloerdracht mei hege resolúsje dy't unaligne gesichten en ferskillende fideogrutte stipet.
- Undersikers konstruearje VToonify op 'e rêchbonken fan Toonify en DualStyleGAN en kondinsearje de rêchbonken yn termen fan sawol gegevens as model om kolleksje-basearre en foarbyld-basearre oerdracht fan portretfideostyl mooglik te meitsjen.
Fergelykje Vtoonify mei oare moderne modellen
Toonify
It tsjinnet as de basis foar kolleksje-basearre styloerdracht op rjochte gesichten mei StyleGAN. Om de stylkoades op te heljen, moatte ûndersikers gesichten útlizze en 256256 foto's foar PSP snije. Toonify wurdt brûkt om in stilisearre útkomst te generearjen mei 1024 * 1024 stylkoades.
Uteinlik rjochtsje se it resultaat yn 'e fideo opnij oan' e oarspronklike lokaasje. It net-stylisearre gebiet is ynsteld op swart.
DualStyleGAN
It is in rêchbonke foar foarbyld-basearre styloerdracht basearre op StyleGAN. Se brûke deselde gegevens foar- en neiferwurkingstechniken as Toonify.
Pix2pixHD
It is in ôfbylding-nei-ôfbylding-oersetmodel dat gewoanlik wurdt brûkt om pre-trained modellen te kondinsearjen foar bewurkjen mei hege resolúsje. It wurdt trainearre mei help fan paired gegevens.
Ûndersikers brûke pix2pixHD as syn ekstra eksimplaar map inputs sûnt it brûkt extracted parsing map.
Earste oarder Moasje
FOM is in typysk ôfbyldingsanimaasjemodel. It waard oplaat op 256256 foto's en docht min mei oare ôfbyldingsgrutte. As gefolch, ûndersikers earst skaal de fideo frames nei 256 * 256 foar FOM nei animaasje en dan feroarje de grutte fan de resultaten nei harren oarspronklike grutte.
Foar in earlike ferliking brûkt FOM it earste stilisearre frame fan har oanpak as syn referinsjestylôfbylding.
DaGAN
It is in 3D gesichtsanimaasjemodel. Se brûke deselde metoaden foar tarieding en postferwurking as FOM.
foardielen
- It kin brûkt wurde yn 'e keunsten, avatars op sosjale media, films, reklame foar entertainment, ensfh.
- Vtoonify kin ek brûkt wurde yn 'e metaverse.
beheinings
- Dizze metodyk ekstrakt sawol de gegevens as it model út 'e StyleGAN-basearre rêchbonken, wat resulteart yn gegevens en modelbias.
- De artefakten wurde meast feroarsake troch grutte ferskillen tusken de stilisearre gesichtsregio en de oare seksjes.
- Dizze strategy is minder suksesfol by it omgean mei dingen yn 'e gesichtsregio.
Konklúzje
Uteinlik is VToonify in ramt foar styl-kontroleare fideo-toonifikaasje mei hege resolúsje.
Dit ramt berikt geweldige prestaasjes by it behanneljen fan fideo's en makket brede kontrôle mooglik oer de strukturele styl, kleurstyl en stylgraad troch kondinsearjen fan StyleGAN-basearre ôfbyldingsmodellen yn termen fan sawol har syntetyske gegevens en netwurkstruktueren.
Leave a Reply