Li se yon travay enpòtan ak dezirab nan vizyon òdinatè ak grafik yo pwodwi fim pòtrè kreyatif nan kalib ki pi wo a.
Malgre ke plizyè modèl efikas pou toonification imaj pòtrè ki baze sou StyleGAN ki pisan yo te pwopoze, teknik sa yo oryante imaj yo gen dezavantaj klè lè yo itilize ak videyo, tankou gwosè a ankadreman fiks, egzijans pou aliyman figi, absans detay ki pa fasyal. , ak enkonsistans tanporèl.
Yo itilize yon kad VToonify revolisyonè pou atake transfè stil videyo pòtrè wo rezolisyon ki difisil kontwole.
Nou pral egzamine etid ki pi resan sou VToonify nan atik sa a, ki gen ladan fonksyonalite li yo, dezavantaj yo, ak lòt faktè.
Ki sa ki Vtoonify?
VToonify kad pèmèt transmisyon stil videyo pòtrè wo-rezolisyon personnalisable.
VToonify itilize kouch mwayen ak wo rezolisyon StyleGAN pou kreye pòtrè atistik kalite siperyè ki baze sou karakteristik kontni milti-echèl ke yon ankode refè pou konsève detay ankadreman yo.
Rezilta achitekti konplètman konvolusyonèl la pran figi ki pa aliye nan fim gwosè varyab kòm opinyon, sa ki lakòz rejyon antye figi ak mouvman reyalis nan pwodiksyon an.
Fondasyon sa a konpatib ak modèl toonification imaj ki baze sou StyleGAN kounye a, sa ki pèmèt yo pwolonje nan toonification videyo, epi li eritye karakteristik atire tankou koulè reglabl ak personnalisation entansite.
sa a etidye prezante de enstansyasyon VToonify ki baze sou Toonify ak DualStyleGAN pou transfè style videyo pòtrè ki baze sou koleksyon ak egzanplè, respektivman.
Konklizyon eksperimantal anpil montre ke kad VToonify yo pwopoze a depase apwòch ki deja egziste nan fè fim pòtrè atistik ki gen bon jan kalite, ki koyeran tanporèman ak paramèt estil varyab.
Chèchè yo bay la Google Colab kaye, pou ou ka sal men ou sou li.
Kijan li mache?
Pou akonpli transfè stil videyo pòtrè wo-rezolisyon reglabl, VToonify konbine avantaj ki genyen nan fondasyon tradiksyon imaj ak kad ki baze sou StyleGAN.
Pou akomode diferan gwosè opinyon, sistèm tradiksyon imaj la anplwaye rezo konplètman konvolusyonèl. Fòmasyon nan grafouyen, nan lòt men an, fè transmisyon style-wo rezolisyon ak kontwole enposib.
Yo itilize modèl StyleGAN pre-antre nan kad ki baze sou StyleGAN pou transfè style-wo rezolisyon ak kontwole, byenke li limite a gwosè foto fiks ak pèt detay.
StyleGAN modifye nan kad ibrid la lè li efase karakteristik antre gwosè fiks li yo ak kouch ki ba rezolisyon, sa ki lakòz yon achitekti enkode-dèlko konplètman konvolusyonèl ki sanble ak sa ki nan kad tradiksyon imaj la.
Pou kenbe detay ankadreman, fòme yon ankode pou ekstrè karakteristik kontni milti-echèl nan ankadreman an opinyon kòm yon kondisyon adisyonèl kontni nan dèlko a. Vtoonify eritye fleksibilite kontwòl style modèl StyleGAN la lè li mete l nan dèlko a pou distile done li yo ak modèl.
Limitasyon StyleGAN ak Vtoonify pwopoze
Pòtre atistik yo komen nan lavi chak jou nou ak nan biznis kreyatif tankou atizay, medya sosyal avatar, sinema, piblisite amizman, ak sou sa.
Avèk devlopman nan pwofondè aprantisaj teknoloji, li se kounye a posib yo kreye bon jan kalite pòtrè atistik soti nan foto figi reyèl lavi lè l sèvi avèk otomatik transfè style pòtrè.
Gen yon varyete fason siksè kreye pou transfè style ki baze sou imaj, anpil nan yo ki fasil aksesib a itilizatè kòmanse nan fòm lan nan aplikasyon mobil. Materyèl videyo te vin rapidman yon poto prensipal nan fil medya sosyal nou yo pandan plizyè ane ki sot pase yo.
Ogmantasyon nan medya sosyal ak fim efemèr te ogmante demann lan pou koreksyon videyo inovatè, tankou transfè style videyo pòtrè, jenere videyo siksè ak enteresan.
Teknik ki egziste deja oryante imaj yo gen dezavantaj enpòtan lè yo aplike nan sinema, limite itilite yo nan stilizasyon otomatik pòtrè videyo.
StyleGAN se yon kolòn vètebral komen pou devlope yon modèl transfè foto pòtrè akòz kapasite li pou kreye figi bon jan kalite ak jesyon style reglabl.
Yon sistèm ki baze sou StyleGAN (ke yo rele tou toonification foto) kode yon figi reyèl nan espas inaktif StyleGAN la epi li aplike kòd style la ki kapab lakòz nan yon lòt StyleGAN byen ajiste sou done pòtrè atistik la pou kreye yon vèsyon stilize.
StyleGAN kreye foto ak figi ki aliye ak nan yon gwosè fiks, ki pa favorize figi dinamik nan fim reyèl. Koupe figi ak aliyman nan videyo a pafwa lakòz yon figi pasyèl ak jès gòch. Chèchè yo rele pwoblèm sa a StyleGAN 'restriksyon rekòt fiks yo.'
Pou figi ki pa aliye, StyleGAN3 te pwopoze; sepandan, li sèlman sipòte yon seri gwosè foto.
Anplis de sa, yon etid resan te dekouvri ke kode figi ki pa aliye se pi difisil pase figi ki aliyen. Move kodaj figi yo danjere nan transfè style pòtrè, sa ki lakòz pwoblèm tankou chanjman idantite ak eleman ki manke nan ankadreman yo rekonstwi ak style.
Kòm diskite, yon teknik efikas pou transfè style videyo pòtrè dwe okipe pwoblèm sa yo:
- Pou prezève mouvman reyalis, apwòch la dwe kapab fè fas ak figi ki pa aliye ak gwosè videyo varye. Yon gwo gwosè videyo, oswa yon ang lajè de vi, ka pran plis enfòmasyon pandan y ap kenbe figi a soti nan kad.
- Pou fè konpetisyon ak gadjèt HD yo souvan itilize jodi a, videyo wo rezolisyon nesesè.
- Kontwòl style fleksib yo ta dwe ofri pou itilizatè yo chanje ak chwazi chwa yo lè yo devlope yon sistèm entèraksyon itilizatè reyalis.
Pou rezon sa a, chèchè sijere VToonify, yon kad ibrid roman pou toonification videyo. Pou simonte kontrent rekòt fiks la, chèchè yo premye etidye ekivarans tradiksyon nan StyleGAN.
VToonify konbine benefis ki genyen nan achitekti ki baze sou StyleGAN ak fondasyon tradiksyon imaj la pou reyalize transfè stil videyo wo-rezolisyon reglabl.
Sa ki annapre yo se pi gwo kontribisyon yo:
- Chèchè yo mennen ankèt sou kontrent rekòt fiks StyleGAN a epi pwopoze yon solisyon ki baze sou ekivarans tradiksyon.
- Chèchè yo prezante yon kad inik VToonify totalman konvolusyonèl pou kontwole transfè stil videyo pòtrè wo rezolisyon ki sipòte figi ki pa aliye ak diferan gwosè videyo.
- Chèchè yo konstwi VToonify sou kolòn vètebral Toonify ak DualStyleGAN epi kondanse kolòn vètebral yo an tèm de done ak modèl pou pèmèt transfè style videyo ki baze sou koleksyon ak egzanplè.
Konpare Vtoonify ak lòt modèl dènye modèl yo
Toonify
Li sèvi kòm fondasyon pou transfè style ki baze sou koleksyon sou figi ki aliyen lè l sèvi avèk StyleGAN. Pou rekipere kòd style yo, chèchè yo dwe aliman figi yo epi koupe 256256 foto pou PSP. Toonify yo itilize pou jenere yon rezilta stilize ak kòd style 1024 * 1024.
Finalman, yo re-aliman rezilta a nan videyo a nan kote orijinal li. Zòn ki pa stilize a te mete nwa.
DualStyleGAN
Li se yon kolòn vètebral pou transfè style ki baze sou egzanplè ki baze sou StyleGAN. Yo itilize menm teknik pre- ak apre-pwosesis done ak Toonify.
Pix2pixHD
Li se yon modèl tradiksyon imaj-a-imaj ki souvan itilize kondanse modèl pre-antre pou koreksyon segondè rezolisyon. Li fòme lè l sèvi avèk done pè.
Chèchè yo itilize pix2pixHD kòm entrées kat egzanp adisyonèl li yo paske li sèvi ak extrait kat jeyografik analiz.
Mosyon First Order
FOM se yon modèl animasyon imaj tipik. Li te antrene sou 256256 foto ak fè mal ak lòt gwosè imaj. Kòm yon konsekans, chèchè yo premye echèl ankadreman videyo yo nan 256 * 256 pou FOM nan animasyon ak Lè sa a, redimansyonman rezilta yo nan gwosè orijinal yo.
Pou yon konparezon jis, FOM anplwaye premye ankadreman stilize apwòch li kòm imaj referans style li yo.
DaGAN
Li se yon modèl animasyon figi 3D. Yo itilize menm preparasyon done ak metòd post-traitement kòm FOM.
Avantaj
- Li ka travay nan boza, medya sosyal avatar, sinema, piblisite amizman, ak sou sa.
- Vtoonify ka itilize tou nan metavès la.
Limit
- Metodoloji sa a ekstrè tou de done yo ak modèl ki soti nan kolòn vètebral ki baze sou StyleGAN, sa ki lakòz done ak patipri modèl.
- Afèk yo lakòz sitou pa diferans gwosè ant rejyon an figi stilize ak lòt seksyon yo.
- Estrateji sa a gen mwens siksè lè fè fas ak bagay ki nan rejyon an fas.
konklizyon
Finalman, VToonify se yon fondasyon pou tonifikasyon videyo wo rezolisyon ki kontwole ak stil.
Kad sa a reyalize gwo pèfòmans nan manyen videyo epi li pèmèt yon gwo kontwòl sou style estriktirèl la, style koulè, ak degre style nan kondansasyon modèl toonification imaj ki baze sou StyleGAN an tèm de tou de yo. done sentetik ak estrikti rezo.
Kite yon Reply