עס איז אַ קריטיש און דיזייעראַבאַל אַרבעט אין קאָמפּיוטער זעאונג און גראַפיקס צו פּראָדוצירן שעפעריש פּאָרטרעט פילמס פון די העכסטן קאַליבער.
כאָטש עטלעכע עפעקטיוו מאָדעלס פֿאַר פּאָרטרעט בילד טאָונאַפאַקיישאַן באזירט אויף די שטאַרק StyleGAN זענען פארגעלייגט, די בילד-אָריענטיד טעקניקס האָבן קלאָר דיסאַדוואַנטידזשיז ווען געוויינט מיט ווידיאס, אַזאַ ווי די פאַרפעסטיקט ראַם גרייס, די פאָדערונג פֿאַר פּנים אַליינמאַנט, דער אַוועק פון ניט-פיישאַל דעטאַילס , און צייַטווייַליק ינקאַנסיסטאַנסי.
א רעוואלוציאנער VToonify פריימווערק איז געניצט צו מאַכנ די שווער קאַנטראָולד הויך-האַכלאָטע פּאָרטרעט ווידעא סטיל אַריבערפירן.
מיר וועלן ונטערזוכן די לעצטע לערנען אויף VToonify אין דעם אַרטיקל, אַרייַנגערעכנט די פאַנגקשאַנאַליטי, דיסאַדוואַנטידזשיז און אנדערע סיבות.
וואָס איז Vtoonify?
VToonify פריימווערק אַלאַוז קוסטאָמיזאַבלע טראַנסמיסיע אין הויך-האַכלאָטע פּאָרטרעט ווידעא נוסח.
VToonify ניצט די מיטן און הויך-האַכלאָטע לייַערס פון StyleGAN צו שאַפֿן הויך-קוואַליטעט קינסט בילדער באזירט אויף מאַלטי-וואָג אינהאַלט קעראַקטעריסטיקס ריטריווד דורך אַ ענקאָדער צו האַלטן ראַם דעטאַילס.
די ריזאַלטינג גאָר קאָנוואָלוטיאָנאַל אַרקאַטעקטשער נעמט ניט-אַליינד פנימער אין קינאָ פון וועריאַבאַל גרייס ווי אַרייַנשרייַב, ריזאַלטינג אין גאַנץ-פּנים מקומות מיט רעאַליסטיש מווומאַנץ אין דער רעזולטאַט.
דער פריימווערק איז קאַמפּאַטאַבאַל מיט די קראַנט StyleGAN-באזירט בילד-טאָניפיקאַטיאָן מאָדעלס, אַלאַוינג זיי צו זיין עקסטענדעד צו ווידעא-טאָניפיקאַטיאָן, און ינכעראַץ אַטראַקטיוו קעראַקטעריסטיקס אַזאַ ווי אַדזשאַסטאַבאַל קאָליר און ינטענסיטי קוסטאָמיזאַטיאָן.
דעם לערנען ינטראַדוסיז צוויי ינסטאַנטיישאַנז פון VToonify באזירט אויף Toonify און DualStyleGAN פֿאַר זאַמלונג-באזירט און ביישפילן-באזירט פּאָרטרעט ווידעא סטיל אַריבערפירן, ריספּעקטיוולי.
ברייט יקספּערמענאַל פיינדינגז ווייַזן אַז די פארגעלייגט VToonify פריימווערק אַוטפּערפאָרמז יגזיסטינג אַפּראָוטשיז אין מאכן הויך-קוואַליטעט, טעמפּעראַלי קאָוכיראַנט קינסט פּאָרטרעט קינאָ מיט בייַטעוודיק נוסח פּאַראַמעטערס.
רעסעאַרטשערס צושטעלן די גוגל קאָלאַב העפט, אַזוי איר קענען באַקומען דיין הענט גראָב אויף עס.
ווי גייט עס אַרבעט?
צו דערגרייכן אַדזשאַסטאַבאַל הויך-האַכלאָטע פּאָרטרעט ווידעא סטיל אַריבערפירן, VToonify קאַמביינז די אַדוואַנטידזשיז פון די בילד איבערזעצונג פריימווערק מיט די StyleGAN-באזירט פריימווערק.
צו אַקאַמאַדייט וועריינג אַרייַנשרייַב סיזעס, די בילד איבערזעצונג סיסטעם ניצט גאָר קאָנוואָלוטיאָנאַל נעטוואָרקס. טראַינינג פֿון קראַצן, אויף די אנדערע האַנט, מאכט טראַנסמיסיע אין הויך האַכלאָטע און קאַנטראָולד נוסח אוממעגלעך.
די פאַר-טריינד StyleGAN מאָדעל איז געניצט אין די StyleGAN-באזירט פריימווערק פֿאַר הויך-האַכלאָטע און קאַנטראָולד סטיל אַריבערפירן, כאָטש עס איז לימיטעד צו פאַרפעסטיקט בילד גרייס און דעטאַל לאָססעס.
StyleGAN איז מאַדאַפייד אין די כייבריד פריימווערק דורך ויסמעקן זייַן פאַרפעסטיקט-סייזד אַרייַנשרייַב שטריך און נידעריק-האַכלאָטע לייַערס, ריזאַלטינג אין אַ גאָר קאָנוואָלוטיאָנאַל ענקאָדער-גענעראַטאָר אַרקאַטעקטשער ענלעך צו די בילד איבערזעצונג פריימווערק.
צו האַלטן ראַם דעטאַילס, באַן אַ ענקאָדער צו עקסטראַקט מאַלטי-וואָג אינהאַלט קעראַקטעריסטיקס פון די אַרייַנשרייַב ראַם ווי אַן נאָך אינהאַלט פאָדערונג צו די גענעראַטאָר. Vtoonify ינכעראַץ די סטיל קאָנטראָל בייגיקייט פון StyleGAN מאָדעל דורך שטעלן עס אין די גענעראַטאָר צו דיסטיל ביידע די דאַטן און די מאָדעל.
לימיטיישאַנז פון StyleGAN & פּראָפּאָסעד ווטאָאָניפי
אַרטיסטיק בילדער זענען פּראָסט אין אונדזער טעגלעך לעבן און אין שעפעריש געשעפטן אַזאַ ווי קונסט, געזעלשאַפטלעך מעדיע אַוואַטאַרס, קינאָ, פאַרווייַלונג גאַנצע, און אַזוי אויף.
מיט דער אַנטוויקלונג פון טיף לערנען טעכנאָלאָגיע, עס איז איצט מעגלעך צו שאַפֿן הויך-קוואַליטעט קינסט בילדער פון פאַקטיש-לעבן פּנים פאָטאָס ניצן אָטאַמייטיד פּאָרטרעט סטיל אַריבערפירן.
עס זענען אַ פאַרשיידנקייַט פון געראָטן וועגן פֿאַר בילד-באזירט סטיל אַריבערפירן, פילע פון וואָס זענען לייכט צוטריטלעך צו אָנהייב ניצערס אין די פאָרעם פון רירעוודיק אַפּלאַקיישאַנז. ווידעא מאַטעריאַל איז געשווינד געווארן אַ מיינסטיי פון אונדזער געזעלשאַפטלעך מידיאַ פידז אין די לעצטע עטלעכע יאָרן.
די העכערונג פון געזעלשאַפטלעך מידיאַ און יפעמעראַל פילמס האט געוואקסן די פאָדערונג פֿאַר ינאַווייטיוו ווידעא עדיטינג, אַזאַ ווי פּאָרטרעט ווידעא סטיל אַריבערפירן, צו דזשענערייט מצליח און טשיקאַווע ווידיאס.
יגזיסטינג בילד-אָריענטיד טעקניקס האָבן באַטייַטיק דיסאַדוואַנטידזשיז ווען זיי זענען געווענדט צו קינאָ, לימאַטינג זייער נוציקייט אין אָטאַמייטיד פּאָרטרעט ווידעא סטיליזאַטיאָן.
StyleGAN איז אַ פּראָסט באַקבאָון פֿאַר דעוועלאָפּינג אַ פּאָרטרעט בילד סטיל אַריבערפירן מאָדעל רעכט צו זיין פיייקייט צו שאַפֿן הויך-קוואַליטעט פנימער מיט אַדזשאַסטאַבאַל סטיל פאַרוואַלטונג.
א StyleGAN-באזירט סיסטעם (אויך באקאנט ווי בילד טאָוניפיקאַטיאָן) קאָדעקס אַ פאַקטיש פּנים אין די StyleGAN לייטאַנט פּלאַץ און אַפּלייז די ריזאַלטינג נוסח קאָד צו אן אנדער StyleGAN פיין-טונד אויף די קינסט פּאָרטרעט דאַטאַסעט צו שאַפֿן אַ סטיילייזד ווערסיע.
StyleGAN קריייץ בילדער מיט אַליינד פנימער און אין אַ פאַרפעסטיקט גרייס, וואָס איז נישט פּאַסיק פֿאַר דינאַמיש פנימער אין פאַקטיש-וועלט פוטידזש. פּנים קראַפּינג און אַליינמאַנט אין די ווידעא, מאל רעזולטאַט אין אַ פּאַרטיייש פּנים און ומגעלומפּערט דזשעסטשערז. רעסעאַרטשערס רופן דעם אַרויסגעבן StyleGAN ס 'פאַרפעסטיקט-גערעטעניש ריסטריקשאַן.'
פֿאַר אַנאַליינז פנימער, StyleGAN3 איז פארגעלייגט; אָבער, עס שטיצט בלויז אַ סכום בילד גרייס.
דערצו, אַ פריש לערנען דיסקאַווערד אַז קאָדירונג פון אַנאַליינז פנימער איז מער טשאַלאַנדזשינג ווי אַליינד פנימער. פאַלש פּנים קאָדירונג איז שעדלעך צו פּאָרטרעט נוסח אַריבערפירן, ריזאַלטינג אין ישוז אַזאַ ווי אידענטיטעט אָלטעריישאַן און פעלנדיק קאַמפּאָונאַנץ אין די ריקאַנסטראַקטיד און סטיילד ראָמען.
ווי דיסקאַסט, אַ עפעקטיוו טעכניק פֿאַר פּאָרטרעט ווידעא סטיל אַריבערפירן מוזן שעפּן די פאלגענדע ישוז:
- צו ופהיטן רעאַליסטיש מווומאַנץ, דער צוגאַנג מוזן זיין ביכולת צו האַנדלען מיט אַנאַליינז פנימער און וועריד ווידעא סיזעס. א גרויס ווידעא גרייס, אָדער אַ ברייט ווינקל פון מיינונג, קענען כאַפּן מער אינפֿאָרמאַציע בשעת איר האַלטן די פּנים פון מאָווינג אויס פון ראַם.
- צו קאָנקורירן מיט הייַנט ס קאַמאַנלי יוטאַלייזד הד גאַדזשאַץ, הויך-האַכלאָטע ווידעא איז נייטיק.
- פלעקסאַבאַל סטיל קאָנטראָל זאָל זיין געפֿינט פֿאַר יוזערז צו טוישן און קלייַבן זייער ברירה ווען זיי אַנטוויקלען אַ רעאַליסטיש באַניצער ינטעראַקשאַן סיסטעם.
צו דעם צוועק, ריסערטשערז פֿאָרשלאָגן VToonify, אַ ראָמאַן כייבריד פריימווערק פֿאַר ווידעא טאָוניפיקאַטיאָן. צו באַקומען די פאַרפעסטיקט גערעטעניש קאַנסטריינץ, ריסערטשערז ערשטער לערנען איבערזעצונג עקוויוואַריאַנס אין StyleGAN.
VToonify קאַמביינז די בענעפיץ פון די StyleGAN-באזירט אַרקאַטעקטשער און די בילד איבערזעצונג פריימווערק צו דערגרייכן אַדזשאַסטאַבאַל הויך-האַכלאָטע פּאָרטרעט ווידעא סטיל אַריבערפירן.
די פאלגענדע זענען די הויפּט קאַנטראַביושאַנז:
- רעסעאַרטשערס פאָרשן די פאַרפעסטיקט-גערעטעניש קאַנסטריינץ פון StyleGAN און פאָרשלאָגן אַ לייזונג באזירט אויף איבערזעצונג עקוויוואַריאַנס.
- רעסעאַרטשערס פאָרשטעלן אַ יינציק גאָר קאָנוואָלוטיאָנאַל VToonify פריימווערק פֿאַר קאַנטראָולד הויך-האַכלאָטע פּאָרטרעט ווידעא סטיל אַריבערפירן וואָס שטיצט אַנאַליינז פנימער און פאַרשידענע ווידעא סיזעס.
- רעסעאַרטשערס בויען VToonify אויף די באַקבאָונז פון Toonify און DualStyleGAN און קאַנדענס די באַקבאָונז אין טערמינען פון ביידע דאַטן און מאָדעל צו געבן זאַמלונג-באזירט און יגזאַמפּאַלז-באזירט פּאָרטרעט ווידעא סטיל אַריבערפירן.
קאַמפּערינג Vtoonify מיט אנדערע מאָדערן מאָדעלס
טאָאָניפי
עס סערוועס ווי דער יסוד פֿאַר זאַמלונג-באזירט סטיל אַריבערפירן אויף אַליינד פנימער ניצן StyleGAN. צו צוריקקריגן די נוסח קאָודז, ריסערטשערז מוזן ייַנרייען פנימער און גערעטעניש 256256 פאָטאָס פֿאַר PSP. טאָאָניפי איז געניצט צו דזשענערייט אַ סטיילייזד רעזולטאַט מיט 1024 * 1024 נוסח קאָודז.
צום סוף, זיי ייַנרייען די רעזולטאַט אין די ווידעא צו זיין אָריגינעל אָרט. די ניט-סטיילייזד געגנט איז באַשטימט צו שוואַרץ.
DualStyleGAN
עס איז אַ באַקבאָון פֿאַר בייַשפּיל-באזירט סטיל אַריבערפירן באזירט אויף StyleGAN. זיי נוצן די זעלבע דאַטן פאַר- און פּאָסטן-פּראַסעסינג טעקניקס ווי Toonify.
Pix2pixHD
עס איז אַ בילד-צו-בילד איבערזעצונג מאָדעל וואָס איז אָפט געניצט צו קאַנדענסט פאַר-טריינד מאָדעלס פֿאַר הויך-האַכלאָטע עדיטינג. עס איז טריינד ניצן פּערד דאַטן.
רעסעאַרטשערס נוצן פּיקס2פּיקסהד ווי זיין נאָך ינסטאַגראַם מאַפּע ינפּוץ זינט עס ניצט יקסטראַקטיד פּאַרסינג מאַפּע.
ערשטער סדר באַוועגונג
FOM איז אַ טיפּיש בילד אַנאַמיישאַן מאָדעל. עס איז געווען טריינד אויף 256256 בילדער און פּערפאָרמז שוואַך מיט אנדערע בילד סיזעס. ווי אַ קאַנסאַקוואַנס, ריסערטשערז ערשטער וואָג די ווידעא ראָמען צו 256 * 256 פֿאַר FOM צו אַנאַמיישאַן און דעמאָלט רעסיזע די רעזולטאַטן צו זייער אָריגינעל גרייס.
פֿאַר אַ שיין פאַרגלייַך, FOM ניצט דער ערשטער סטיילייזד ראַם פון זיין צוגאַנג ווי זיין רעפֿערענץ נוסח בילד.
DaGAN
עס איז אַ 3 ד פּנים אַנאַמיישאַן מאָדעל. זיי נוצן די זעלבע דאַטן צוגרייטונג און פּאָסטפּראָסעססינג מעטהאָדס ווי FOM.
אַדוואַנטאַגעס
- עס קענען זיין געוויינט אין די Arts, געזעלשאַפטלעך מידיאַ אַוואַטאַרס, קינאָ, פאַרווייַלונג גאַנצע, און אַזוי אַרויס.
- Vtoonify קענען אויך זיין יוטאַלייזד אין די מעטאַווערסע.
לימיטאַטיאָנס
- די מעטאַדאַלאַדזשי עקסטראַקץ ביידע די דאַטן און די מאָדעל פֿון די StyleGAN-באזירט באַקבאָונז, ריזאַלטינג אין דאַטן און מאָדעל פאָרורטייל.
- די אַרטאַפאַקץ זענען מערסטנס געפֿירט דורך גרייס דיפעראַנסיז צווישן די סטיילייזד פּנים געגנט און די אנדערע סעקשאַנז.
- די סטראַטעגיע איז ווייניקער געראָטן ווען איר האַנדלען מיט טינגז אין די פּנים געגנט.
סאָף
צום סוף, VToonify איז אַ פריימווערק פֿאַר סטיל-קאַנטראָולד הויך-האַכלאָטע ווידעא טאָוניפיקאַטיאָן.
דער פריימווערק אַטשיווז גרויס פאָרשטעלונג אין האַנדלינג ווידיאס און ינייבאַלז ברייט קאָנטראָל איבער די סטראַקטשעראַל סטיל, קאָליר סטיל און סטיל גראַד דורך קאַנדענסינג StyleGAN-באזירט בילד טאָוניפיקאַטיאָן מאָדעלס אין טערמינען פון ביידע זייער סינטעטיש דאַטן און נעץ סטראַקטשערז.
לאָזן אַ ענטפֿערן