Ieu mangrupakeun tugas krusial sarta desirable dina visi komputer tur grafik pikeun ngahasilkeun pilem potret kreatif tina haliber pangluhurna.
Sanaos sababaraha modél mujarab pikeun toonifikasi gambar potret dumasar kana StyleGAN anu kuat parantos diajukeun, téknik berorientasi gambar ieu ngagaduhan kalemahan anu jelas nalika dianggo sareng pidéo, sapertos ukuran pigura anu tetep, sarat pikeun alignment raray, henteuna detil non-raray. , sarta inconsistency temporal.
Kerangka VToonify révolusionér dianggo pikeun ngarengsekeun transfer gaya vidéo potret résolusi luhur anu sesah.
Urang bakal nalungtik ulikan panganyarna dina VToonify dina artikel ieu, kaasup pungsionalitasna, drawbacks, sarta faktor séjén.
Naon Vtoonify?
Kerangka VToonify ngamungkinkeun transmisi gaya vidéo potret resolusi luhur anu tiasa disaluyukeun.
VToonify nganggo lapisan pertengahan sareng resolusi luhur StyleGAN pikeun nyiptakeun potret artistik kualitas luhur dumasar kana ciri eusi multi-skala anu dicandak ku encoder pikeun nahan detil pigura.
Hasilna arsitéktur konvolusi pinuh nyandak rupa anu teu sajajar dina pilem ukuran variabel salaku input, hasilna wewengkon sakabeh beungeut kalawan gerakan realistis dina kaluaran.
Kerangka ieu cocog sareng model toonifikasi gambar dumasar StyleGAN ayeuna, ngamungkinkeun aranjeunna diperpanjang ka toonifikasi pidéo, sareng ngawariskeun ciri anu pikaresepeun sapertos kustomisasi warna sareng inténsitas anu tiasa disaluyukeun.
ieu diajar ngenalkeun dua instansi VToonify dumasar kana Toonify sareng DualStyleGAN pikeun mindahkeun gaya vidéo potret dumasar-koleksi sareng conto.
Papanggihan ékspérimén éksténsif nunjukkeun yén kerangka VToonify anu diusulkeun ngaleuwihan pendekatan anu tos aya dina ngadamel pilem potret artistik anu kualitas luhur, koheren sacara temporal sareng parameter gaya variabel.
Panalungtik nyadiakeun notebook Google Colab, jadi Anjeun bisa meunangkeun leungeun Anjeun kotor dina eta.
Kumaha carana sangkan eta pagawean?
Pikeun ngalengkepan transfer gaya vidéo potret résolusi luhur anu tiasa disaluyukeun, VToonify ngagabungkeun kaunggulan kerangka tarjamahan gambar sareng kerangka basis StyleGAN.
Pikeun nampung rupa-rupa ukuran input, sistem tarjamahan gambar ngagunakeun jaringan convolutional pinuh. Latihan ti scratch, di sisi séjén, ngajadikeun resolusi luhur sarta transmisi gaya dikawasa teu mungkin.
Modél StyleGAN tos dilatih dipaké dina kerangka basis StyleGAN pikeun resolusi luhur sarta mindahkeun gaya dikawasa, sanajan ieu dugi ka ukuran gambar tetep jeung karugian rinci.
StyleGAN dirobih dina kerangka hibrida ku mupus fitur input ukuran tetep sareng lapisan résolusi anu handap, nyababkeun arsitektur generator encoder konvolusional sapinuhna sami sareng kerangka tarjamahan gambar.
Pikeun ngajaga rinci pigura, ngalatih hiji encoder pikeun nimba ciri eusi multi-skala pigura input salaku sarat eusi tambahan pikeun generator nu. Vtoonify ngawariskeun kalenturan kontrol gaya modél StyleGAN ku cara nempatkeun kana generator pikeun nyaring data sareng modélna.
Watesan StyleGAN & Usul Vtoonify
Potret artistik umumna dina kahirupan urang sapopoé ogé dina usaha kreatif sapertos seni, média sosial avatar, pilem, iklan hiburan, jeung sajabana.
Kalayan pamekaran learning jero téhnologi, ayeuna bisa nyieun potret artistik kualitas luhur tina poto nyanghareupan kahirupan nyata maké mindahkeun gaya potret otomatis.
Aya rupa-rupa cara suksés dijieun pikeun mindahkeun gaya dumasar-gambar, loba nu gampang diaksés ka pamaké dimimitian dina bentuk aplikasi mobile. Bahan vidéo parantos gancang janten andalan média sosial urang salami sababaraha taun ka pengker.
Kebangkitan média sosial sareng film ephemeral parantos ningkatkeun paménta pikeun ngedit pidéo inovatif, sapertos transfer gaya vidéo potret, pikeun ngahasilkeun pidéo anu suksés sareng pikaresepeun.
Téhnik berorientasi gambar anu aya gaduh kalemahan anu signifikan nalika dilarapkeun kana pilem, ngabatesan mangpaatna dina stylization video potret otomatis.
StyleGAN mangrupikeun tulang tonggong umum pikeun ngembangkeun modél transfer gaya gambar potret kusabab kapasitasna pikeun nyiptakeun rupa kualitas luhur sareng manajemén gaya anu tiasa disaluyukeun.
Sistem basis StyleGAN (ogé katelah toonifikasi gambar) ngodekeun rupa nyata kana rohangan laten StyleGAN teras nerapkeun kodeu gaya anu dihasilkeun ka StyleGAN séjén anu disaluyukeun dina set data potret artistik pikeun nyieun vérsi gaya.
StyleGAN nyiptakeun gambar sareng rupa anu dijajarkeun sareng dina ukuran anu tetep, anu henteu resep kana rupa dinamis dina cuplikan dunya nyata. Pamotongan raray sareng alignment dina pidéo kadang nyababkeun raray parsial sareng sapuan anu kagok. Panaliti nyauran masalah ieu StyleGAN 'watesan pamotongan tetep.'
Pikeun raray unaligned, StyleGAN3 geus diajukeun; kumaha oge, eta ngan ngarojong ukuran gambar set.
Saterusna, ulikan panganyarna manggihan yén encoding raray unaligned leuwih nangtang ti align raray. Encoding raray anu salah ngabahayakeun pikeun mindahkeun gaya potret, nyababkeun masalah sapertos parobahan identitas sareng komponen anu leungit dina pigura anu direkonstruksi sareng digayakeun.
Sakumaha anu dibahas, téknik anu éfisién pikeun mindahkeun gaya vidéo potrét kedah nanganan masalah-masalah ieu:
- Pikeun ngawétkeun gerakan realistis, pendekatan kudu bisa nungkulan rupa unaligned sarta ukuran video variatif. Ukuran pidéo anu ageung, atanapi sudut pandang anu lega, tiasa nyandak inpormasi langkung seueur bari ngajaga raray tina kaluar tina pigura.
- Pikeun bersaing sareng gadget HD anu biasa dianggo ayeuna, pidéo resolusi luhur diperyogikeun.
- Kontrol gaya anu fleksibel kedah ditawarkeun pikeun pangguna pikeun ngarobih sareng milih pilihanna nalika ngembangkeun sistem interaksi pangguna anu realistis.
Pikeun tujuan éta, panalungtik nyarankeun VToonify, kerangka hibrid novel pikeun toonifikasi pidéo. Pikeun ngatasi kendala pamotongan tetep, panalungtik mimiti diajar equivariance tarjamah dina StyleGAN.
VToonify ngagabungkeun mangpaat arsitéktur basis StyleGAN sareng kerangka tarjamahan gambar pikeun ngahontal transfer gaya vidéo potret resolusi luhur anu tiasa disaluyukeun.
Di handap ieu mangrupakeun kontribusi utama:
- Panaliti nalungtik konstrain pamotongan tetep StyleGAN sareng ngajukeun solusi dumasar kana equivariance tarjamahan.
- Panaliti nampilkeun kerangka VToonify anu lengkep konvolusional anu unik pikeun mindahkeun gaya vidéo potret résolusi luhur anu ngadukung rupa anu teu selaras sareng ukuran pidéo anu béda.
- Panaliti ngawangun VToonify dina tulang tonggong Toonify sareng DualStyleGAN sareng ngembunkeun tulang tonggong dina hal data sareng modél pikeun ngaktifkeun transfer gaya vidéo potret dumasar-koleksi sareng conto.
Ngabandingkeun Vtoonify sareng modél canggih anu sanés
Toonify
Éta janten pondasi pikeun mindahkeun gaya dumasar-koleksi dina raray anu dijajarkeun nganggo StyleGAN. Pikeun meunangkeun kodeu gaya, panalungtik kudu align beungeut jeung motong 256256 poto pikeun PSP. Toonify dipaké pikeun ngahasilkeun hasil stylized kalawan 1024*1024 kode gaya.
Tungtungna, aranjeunna align deui hasil dina video ka lokasi aslina. Wewengkon un-stylized geus disetel ka hideung.
DualStyleGAN
Éta tulang tonggong pikeun mindahkeun gaya dumasar-exemplar dumasar kana StyleGAN. Aranjeunna nganggo téknik pra-pangolah data anu sami sareng Toonify.
Pix2pixHD
Ieu mangrupikeun modél tarjamahan gambar-ka-gambar anu biasa dianggo pikeun ngembunkeun modél anu tos dilatih pikeun ngedit resolusi luhur. Ieu dilatih ngagunakeun data dipasangkeun.
Panaliti ngagunakeun pix2pixHD salaku input peta conto tambahanna sabab ngagunakeun peta parsing anu diekstrak.
Gerakan Orde Pertama
FOM mangrupikeun modél animasi gambar anu khas. Éta dilatih dina 256256 gambar sareng henteu ngalaksanakeun ukuran gambar anu sanés. Hasilna, panalungtik mimiti skala pigura video ka 256*256 pikeun FOM animasi lajeng ngarobah ukuran hasilna kana ukuran aslina.
Pikeun babandingan anu adil, FOM nganggo pigura gaya anu munggaran dina pendekatanna salaku gambar gaya rujukan na.
DaGAN
Éta mangrupikeun modél animasi raray 3D. Maranehna ngagunakeun métode persiapan data jeung postprocessing sarua salaku FOM.
kaunggulan
- Éta tiasa dianggo dina seni, avatar média sosial, pilem, iklan hiburan, sareng sajabana.
- Vtoonify ogé tiasa dianggo dina metaverse.
watesan
- Métodologi ieu ékstrak data sareng modél tina tulang tonggong basis StyleGAN, hasilna bias data sareng modél.
- Artefak biasana disababkeun ku bédana ukuran antara daérah raray anu gaya sareng bagian anu sanés.
- Strategi ieu kirang suksés nalika nungkulan hal-hal di daérah raray.
kacindekan
Tungtungna, VToonify mangrupikeun kerangka pikeun toonifikasi pidéo resolusi luhur anu dikontrol gaya.
Kerangka ieu ngahontal prestasi anu saé dina nanganan pidéo sareng ngamungkinkeun kontrol anu lega kana gaya struktural, gaya warna, sareng gelar gaya ku cara ngembunkeun modél toonifikasi gambar dumasar StyleGAN dina hal duanana. data sintétik jeung struktur jaringan.
Leave a Reply