Nws yog ib qho tseem ceeb thiab xav tau txoj hauj lwm hauv lub computer tsis pom kev thiab cov duab los tsim cov yeeb yaj kiab portrait zoo tshaj plaws.
Txawm hais tias muaj ntau yam qauv zoo rau cov duab portrait toonification raws li lub zog StyleGAN tau raug npaj, cov duab-oriented cov tswv yim no muaj qhov tsis zoo thaum siv cov yeeb yaj kiab, xws li cov thav duab loj, qhov yuav tsum tau ua kom haum rau lub ntsej muag, tsis muaj cov ntsiab lus ntawm lub ntsej muag. , thiab kev tsis sib haum ntawm lub cev.
Kev hloov pauv VToonify lub moj khaum yog siv los daws qhov nyuaj tswj kev daws teeb meem portrait video hloov pauv hloov pauv.
Peb yuav tshuaj xyuas qhov kev kawm tsis ntev los no ntawm VToonify hauv tsab xov xwm no, suav nrog nws txoj haujlwm, qhov tsis zoo, thiab lwm yam.
Vtoonify yog dab tsi?
VToonify lub moj khaum tso cai rau customizable high-resolution portrait video style kis tau tus mob.
VToonify siv StyleGAN cov khaubncaws sab nraud povtseg thiab kev daws teeb meem siab los tsim cov duab zoo nkauj zoo nkauj raws li cov ntsiab lus ntau yam uas tau muab los ntawm tus encoder kom khaws cov ntsiab lus ntawm cov duab.
Lub resultant tag nrho convolutional architecture siv cov ntsej muag tsis sib xws hauv cov yeeb yaj kiab loj sib txawv raws li cov tswv yim, uas ua rau tag nrho cov ntsej muag nrog cov kev xav tau tiag tiag hauv cov zis.
Lub moj khaum no tau sib xws nrog tam sim no StyleGAN-raws li cov duab toonification qauv, tso cai rau lawv txuas ntxiv mus rau video toonification, thiab txais cov yam ntxwv txaus nyiam xws li kho xim thiab siv kev hloov kho.
Qhov no txoj kev tshawb no nthuav tawm ob qho kev cuam tshuam ntawm VToonify raws li Toonify thiab DualStyleGAN rau kev sau-raws li thiab piv txwv-raws li portrait video hloov pauv hloov pauv, feem.
Cov kev tshawb pom dav dav qhia tau hais tias VToonify lub moj khaum tau tshaj tawm cov txheej txheem uas twb muaj lawm hauv kev ua cov yeeb yaj kiab zoo, ib ntus-coherent artistic portrait cov yeeb yaj kiab nrog cov qauv sib txawv.
Cov kws tshawb fawb muab cov Google Colab phau ntawv, yog li koj tuaj yeem tau txais koj txhais tes qias neeg ntawm nws.
Ua li cas nws ua hauj lwm?
Txhawm rau ua kom tiav cov kev daws teeb meem siab tshaj plaws portrait video hloov pauv hloov pauv, VToonify muab cov txiaj ntsig zoo ntawm cov duab txhais lus nrog rau StyleGAN-based moj khaum.
Txhawm rau kom haum rau qhov sib txawv ntawm qhov ntau thiab tsawg, cov duab txhais lus system siv tag nrho cov kev sib txuas lus sib txuas. Kev cob qhia los ntawm kos, ntawm qhov tod tes, ua rau kev daws teeb meem siab thiab tswj kev sib kis tsis tau.
Cov qauv kev kawm ua ntej StyleGAN yog siv nyob rau hauv StyleGAN-raws li lub moj khaum rau kev daws teeb meem siab thiab tswj kev hloov pauv, txawm hais tias nws raug txwv rau cov duab tas li thiab nthuav dav.
StyleGAN tau hloov kho nyob rau hauv lub hybrid moj khaum los ntawm kev rho tawm nws qhov ruaj-sized input feature thiab low-resolution khaubncaws sab nraud povtseg, uas ua rau ib tug tag nrho convolutional encoder-generator architecture zoo ib yam li cov duab txhais lub moj khaum.
Txhawm rau tswj hwm cov ntsiab lus, cob qhia tus encoder kom rho tawm ntau cov ntsiab lus ntawm cov khoom siv nkag raws li cov ntsiab lus ntxiv rau lub tshuab hluav taws xob. Vtoonify tau txais tus qauv StyleGAN tus qauv tswj kev yooj yim los ntawm kev muab tso rau hauv lub tshuab hluav taws xob kom distill ob qho tib si nws cov ntaub ntawv thiab cov qauv.
Kev txwv ntawm StyleGAN & Thov Vtoonify
Kev kos duab portraits muaj nyob rau hauv peb lub neej niaj hnub nrog rau hauv kev lag luam muaj tswv yim xws li kos duab, kev tawm avatars, tsos, kev lom zem tshaj tawm, thiab lwm yam.
Nrog rau kev nthuav dav ntawm kawm tob thev naus laus zis, tam sim no muaj peev xwm los tsim cov duab zoo nkauj zoo nkauj los ntawm lub neej tiag tiag lub ntsej muag cov duab siv automated portrait style hloov.
Muaj ntau txoj hauv kev ua tiav tsim rau cov duab-raws li kev hloov pauv hloov pauv, ntau yam yooj yim nkag mus rau cov neeg siv pib hauv daim ntawv thov mobile. Cov ntaub ntawv yees duab tau nrawm dhau los ua lub hauv paus tseem ceeb ntawm peb cov kev tshaj tawm xov xwm hauv ntau xyoo dhau los.
Qhov nce ntawm kev sib raug zoo thiab ephemeral films tau nce qhov kev thov rau lub tshiab video editing, xws li portrait video style hloov mus rau, tsim kom muaj kev vam meej thiab nthuav yeeb yaj duab.
Cov txheej txheem duab uas twb muaj lawm muaj qhov tsis zoo thaum siv rau cov yeeb yaj kiab, txwv tsis pub lawv cov txiaj ntsig hauv automated portrait video stylization.
StyleGAN yog ib lub pob txha loj rau kev tsim cov duab portrait style hloov qauv vim nws lub peev xwm los tsim cov ntsej muag zoo nrog kev tswj cov style.
StyleGAN-raws li system (tseem hu ua duab toonification) encodes lub ntsej muag tiag tiag rau hauv StyleGAN latent qhov chaw thiab tom qab ntawd siv cov lej tsim tawm mus rau lwm qhov StyleGAN zoo-tuned ntawm cov duab kos duab cov ntaub ntawv los tsim cov qauv tsim qauv.
StyleGAN tsim cov duab nrog lub ntsej muag sib luag thiab ntawm qhov loj me, uas tsis nyiam lub ntsej muag zoo nkauj hauv cov duab tiag tiag. Lub ntsej muag cropping thiab ua kom haum hauv cov yeeb yaj kiab qee zaum ua rau lub ntsej muag ib nrab thiab ua haujlwm txawv txawv. Cov kws tshawb fawb hu qhov teeb meem no StyleGAN's 'taw-crop txwv.'
Rau cov ntsej muag tsis sib haum, StyleGAN3 tau thov; Txawm li cas los xij, nws tsuas yog txhawb nqa daim duab loj.
Tsis tas li ntawd, kev tshawb fawb tsis ntev los no tau tshawb pom tias kev nkag mus rau lub ntsej muag tsis sib xws yog qhov nyuaj dua li cov ntsej muag sib luag. Lub ntsej muag encoding tsis raug yog teeb meem rau kev hloov pauv hloov pauv hloov pauv hloov pauv, ua rau muaj teeb meem xws li kev hloov pauv tus kheej thiab cov khoom ploj lawm hauv cov qauv tsim kho dua tshiab thiab cov qauv tsim.
Raws li tau hais los saum no, cov txheej txheem ua tau zoo rau kev hloov pauv video style yuav tsum daws cov teeb meem hauv qab no:
- Txhawm rau khaws cov kev xav tau tiag tiag, txoj hauv kev yuav tsum tuaj yeem cuam tshuam nrog lub ntsej muag tsis sib xws thiab ntau qhov video sib txawv. Qhov loj video loj, lossis qhov dav ntawm qhov pom, tuaj yeem ntes cov ntaub ntawv ntau ntxiv thaum ua kom lub ntsej muag tsis txhob txav ntawm tus ncej.
- Txhawm rau sib tw nrog niaj hnub no siv cov khoom siv HD niaj hnub no, qhov kev daws teeb meem siab video yog qhov tsim nyog.
- Slexible style tswj yuav tsum muaj rau cov neeg siv hloov pauv thiab xaiv lawv cov kev xaiv thaum tsim kom muaj kev sib cuam tshuam cov neeg siv tiag tiag.
Rau lub hom phiaj ntawd, cov kws tshawb fawb pom zoo VToonify, ib qho tshiab hybrid moj khaum rau video toonification. Txhawm rau kov yeej cov qoob loo ruaj khov, cov kws tshawb nrhiav thawj zaug kawm kev txhais lus sib npaug hauv StyleGAN.
VToonify muab cov txiaj ntsig ntawm StyleGAN-raws li architecture thiab cov duab txhais lus kom ua tiav cov kev daws teeb meem siab tshaj plaws portrait video hloov pauv.
Cov hauv qab no yog cov kev pab cuam loj:
- Cov kws tshawb fawb tshawb xyuas StyleGAN qhov kev txwv tsis pub qoob loo ruaj khov thiab tawm tswv yim kev daws teeb meem raws li kev txhais lus sib npaug.
- Cov kws tshawb fawb nthuav tawm qhov tshwj xeeb ntawm VToonify lub luag haujlwm rau kev tswj hwm kev daws teeb meem portrait video hloov pauv hloov pauv uas txhawb nqa lub ntsej muag tsis sib xws thiab ntau qhov sib txawv video.
- Cov kws tshawb fawb tsim VToonify ntawm lub nraub qaum ntawm Toonify thiab DualStyleGAN thiab ua rau cov pob txha nraub qaum raws li cov ntaub ntawv thiab cov qauv los pab txhawb kev sau-raws li thiab piv txwv-raws li portrait video hloov pauv.
Muab piv Vtoonify nrog rau lwm cov qauv ntawm lub xeev-ntawm-tus-kos duab
Toonify
Nws ua haujlwm ua lub hauv paus rau kev sau-raws li kev hloov pauv ntawm cov ntsej muag sib luag siv StyleGAN. Txhawm rau khaws cov lej style, cov kws tshawb fawb yuav tsum ua kom lub ntsej muag thiab qoob loo 256256 duab rau PSP. Toonify yog siv los tsim cov txiaj ntsig zoo nrog 1024 * 1024 style codes.
Thaum kawg, lawv rov kho qhov tshwm sim hauv video mus rau nws qhov chaw qub. Qhov chaw tsis-stylized tau teem rau dub.
DualStyleGAN
Nws yog lub hauv paus rau tus qauv hloov pauv raws li StyleGAN. Lawv siv tib cov ntaub ntawv ua ntej thiab tom qab ua cov txheej txheem raws li Toonify.
2pixHD
Nws yog ib qho duab-rau-daim duab txhais cov qauv uas feem ntau siv los ua kom cov qauv ua ntej kev cob qhia rau kev daws teeb meem siab. Nws raug cob qhia siv cov ntaub ntawv ua ke.
Cov kws tshawb fawb siv pix2pixHD raws li nws qhov piv txwv ntxiv daim ntawv qhia kev nkag vim nws siv cov ntawv qhia kev cais tawm.
First Order Motion
FOM yog ib qho qauv duab animation. Nws tau kawm txog 256256 cov duab thiab ua haujlwm tsis zoo nrog lwm cov duab loj. Raws li qhov tshwm sim, cov kws tshawb fawb thawj zaug ntsuas cov duab thav duab rau 256 * 256 rau FOM rau cov yeeb yaj kiab thiab tom qab ntawd hloov cov txiaj ntsig mus rau lawv qhov loj me.
Rau kev sib piv ncaj ncees, FOM ntiav thawj tus qauv tsim qauv ntawm nws txoj hauv kev raws li nws cov duab siv style.
DaGAN
Nws yog 3D lub ntsej muag animation qauv. Lawv siv tib cov ntaub ntawv npaj thiab cov txheej txheem tom qab ua tiav raws li FOM.
zoo
- Nws tuaj yeem ua haujlwm hauv kev ua yeeb yam, social media avatars, tsos, kev tshaj tawm kev lom zem, thiab lwm yam.
- Vtoonify kuj tseem tuaj yeem siv hauv metaverse.
Cov kev txwv
- Cov txheej txheem no rho tawm ob qho tib si cov ntaub ntawv thiab cov qauv los ntawm StyleGAN-raws li pob txha, ua rau cov ntaub ntawv thiab cov qauv kev tsis ncaj ncees.
- Cov khoom cuav yog tshwm sim los ntawm qhov sib txawv me me ntawm thaj tsam ntawm lub ntsej muag stylized thiab lwm ntu.
- Cov tswv yim no tsis muaj kev vam meej thaum cuam tshuam nrog cov khoom hauv cheeb tsam lub ntsej muag.
xaus
Thaum kawg, VToonify yog lub moj khaum rau style-tswj high-resolution video toonification.
Lub moj khaum no ua tiav qhov kev ua tau zoo hauv kev tuav cov yeeb yaj kiab thiab ua kom muaj kev tswj xyuas dav dav ntawm cov qauv qauv, xim style, thiab kev kawm qib siab los ntawm kev sib xyaw StyleGAN-raws li cov duab toonification qauv ntawm ob qho tib si lawv. cov ntaub ntawv hluavtaws thiab cov qauv hauv network.
Sau ntawv cia Ncua