Iki minangka tugas sing penting lan dikarepake ing visi komputer lan grafis kanggo ngasilake film potret kreatif kanthi kaliber paling dhuwur.
Sanajan sawetara model efektif kanggo toonifikasi gambar potret adhedhasar StyleGAN sing kuat wis diusulake, teknik berorientasi gambar kasebut duwe kekurangan sing jelas nalika digunakake karo video, kayata ukuran pigura sing tetep, syarat kanggo keselarasan rai, ora ana rincian non-rai. , lan inkonsistensi temporal.
Kerangka VToonify revolusioner digunakake kanggo ngatasi transfer gaya video potret resolusi dhuwur sing angel dikontrol.
Kita bakal nliti sinau paling anyar babagan VToonify ing artikel iki, kalebu fungsi, kekurangan, lan faktor liyane.
Apa iku Vtoonify?
Kerangka VToonify ngidini transmisi gaya video potret resolusi dhuwur sing bisa disesuaikan.
VToonify nggunakake lapisan tengah lan resolusi dhuwur StyleGAN kanggo nggawe potret artistik kanthi kualitas dhuwur adhedhasar karakteristik konten multi-skala sing dijupuk dening encoder kanggo nahan rincian pigura.
Arsitèktur konvolusional sing asilé njupuk pasuryan sing ora selaras ing film ukuran variabel minangka input, sing nyebabake wilayah pasuryan kanthi gerakan nyata ing output.
Kerangka iki kompatibel karo model toonifikasi gambar berbasis StyleGAN saiki, supaya bisa ditambah menyang toonifikasi video, lan nduweni ciri sing menarik kayata kustomisasi warna lan intensitas sing bisa diatur.
iki sinau ngenalake rong instantiations VToonify adhedhasar Toonify lan DualStyleGAN kanggo transfer gaya video potret adhedhasar koleksi lan eksemplar.
Panemuan eksperimen sing ekstensif nuduhake yen kerangka kerja VToonify sing diusulake ngluwihi pendekatan sing wis ana kanggo nggawe film potret artistik sing koheren kanthi temporal kanthi paramèter gaya variabel.
Peneliti nyedhiyakake Notebook Google Colab, supaya sampeyan bisa njaluk reged ing tangan.
Carane ora iku bisa?
Kanggo ngrampungake transfer gaya video potret resolusi dhuwur sing bisa diatur, VToonify nggabungake kaluwihan kerangka terjemahan gambar karo kerangka basis StyleGAN.
Kanggo nampung ukuran input sing beda-beda, sistem terjemahan gambar nggunakake jaringan konvolusional. Latihan saka awal, ing tangan liyane, ndadekake transmisi gaya resolusi dhuwur lan kontrol ora bisa.
Model StyleGAN sing wis dilatih digunakake ing kerangka basis StyleGAN kanggo resolusi dhuwur lan transfer gaya sing dikontrol, sanajan diwatesi kanggo ukuran gambar lan kerugian rinci.
StyleGAN diowahi ing kerangka hibrida kanthi mbusak fitur input ukuran tetep lan lapisan resolusi rendah, sing ngasilake arsitektur encoder-generator konvolusi sing padha karo kerangka terjemahan gambar.
Kanggo njaga rincian pigura, olahraga encoder kanggo extract karakteristik isi multi-ukuran pigura input minangka syarat isi tambahan kanggo generator. Vtoonify entuk keluwesan kontrol gaya model StyleGAN kanthi dilebokake ing generator kanggo nyaring data lan modele.
Watesan StyleGAN & Usul Vtoonify
Potret artistik umum ing urip saben dina lan uga ing bisnis kreatif kayata seni, media sosial avatar, film, iklan hiburan, lan liya-liyane.
Kanthi pangembangan sinau jero teknologi, saiki bisa nggawe potret artistik bermutu saka foto pasuryan nyata nggunakake transfer gaya potret otomatis.
Ana macem-macem cara sukses sing digawe kanggo transfer gaya adhedhasar gambar, akeh sing gampang diakses dening pangguna wiwitan ing wangun aplikasi seluler. Materi video kanthi cepet dadi andalan feed media sosial kita sajrone sawetara taun kepungkur.
Munculé media sosial lan film ephemeral nambah panjaluk panyuntingan video sing inovatif, kayata transfer gaya video potret, kanggo ngasilake video sing sukses lan menarik.
Teknik berorientasi gambar sing wis ana duwe kekurangan sing signifikan nalika ditrapake ing film, mbatesi kegunaane ing stylization video potret otomatis.
StyleGAN minangka penyangga umum kanggo ngembangake model transfer gaya gambar potret amarga kapasitase nggawe pasuryan sing berkualitas kanthi manajemen gaya sing bisa diatur.
Sistem basis StyleGAN (uga dikenal minangka toonifikasi gambar) ngode wajah nyata menyang ruang laten StyleGAN banjur ngetrapake kode gaya sing diasilake menyang StyleGAN liyane sing disetel kanthi apik ing dataset potret artistik kanggo nggawe versi gaya.
StyleGAN nggawe gambar kanthi pasuryan sing didadekake siji lan ukuran tetep, sing ora seneng karo pasuryan dinamis ing rekaman donya nyata. Potongan rai lan alignment ing video kadhangkala nyebabake pasuryan sebagean lan obahe kikuk. Peneliti nyebut masalah iki StyleGAN's 'watesan potong tetep.'
Kanggo pasuryan sing ora selaras, StyleGAN3 wis diusulake; Nanging, iku mung ndhukung ukuran gambar pesawat.
Salajengipun, panaliten anyar nemokake yen enkoding pasuryan sing ora sejajar luwih tantangan tinimbang pasuryan sing sejajar. Encoding pasuryan sing salah mbebayani kanggo transfer gaya potret, sing nyebabake masalah kayata owah-owahan identitas lan komponen sing ilang ing bingkai sing direkonstruksi lan ditata.
Kaya sing wis dibahas, teknik sing efisien kanggo transfer gaya video potret kudu ngatasi masalah ing ngisor iki:
- Kanggo njaga gerakan sing realistis, pendekatan kasebut kudu bisa ngatasi pasuryan sing ora selaras lan ukuran video sing beda-beda. Ukuran video sing gedhe, utawa sudut pandang sing amba, bisa njupuk informasi liyane nalika njaga pasuryan supaya ora metu saka pigura.
- Kanggo saingan karo gadget HD sing umum digunakake saiki, video resolusi dhuwur dibutuhake.
- Kontrol gaya fleksibel kudu ditawakake kanggo pangguna supaya bisa ngowahi lan milih pilihan nalika ngembangake sistem interaksi pangguna sing nyata.
Kanggo tujuan kasebut, peneliti nyaranake VToonify, kerangka hibrida novel kanggo toonifikasi video. Kanggo ngatasi kendala pamotongan tetep, peneliti pisanan sinau kesetaraan terjemahan ing StyleGAN.
VToonify nggabungake keuntungan arsitektur basis StyleGAN lan kerangka terjemahan gambar kanggo entuk transfer gaya video potret resolusi dhuwur sing bisa diatur.
Ing ngisor iki minangka sumbangan utama:
- Peneliti nyelidiki kendala potong tetep StyleGAN lan ngusulake solusi adhedhasar kesetaraan terjemahan.
- Peneliti nampilake kerangka VToonify sing unik kanthi konvolusional kanggo transfer gaya video potret resolusi dhuwur sing ndhukung pasuryan sing ora selaras lan ukuran video sing beda-beda.
- Peneliti mbangun VToonify ing backbones Toonify lan DualStyleGAN lan condense backbones ing syarat-syarat data lan model kanggo ngaktifake basis koleksi lan basis conto transfer gaya video potret.
Mbandhingake Vtoonify karo model canggih liyane
Toonify
Iki minangka dhasar kanggo transfer gaya adhedhasar koleksi ing pasuryan sing selaras nggunakake StyleGAN. Kanggo njupuk kode gaya, peneliti kudu nyelarasake pasuryan lan motong 256256 foto kanggo PSP. Toonify digunakake kanggo ngasilake asil kanthi gaya kanthi kode gaya 1024*1024.
Pungkasan, dheweke nyelarasake maneh asil ing video menyang lokasi asline. Wilayah sing ora ditata wis disetel dadi ireng.
DualStyleGAN
Iku backbone kanggo transfer gaya basis exemplar adhedhasar StyleGAN. Dheweke nggunakake teknik pra- lan pasca-proses data sing padha karo Toonify.
Pix2pixHD
Iku model terjemahan gambar-kanggo-gambar sing umume digunakake kanggo ngembun model sing wis dilatih kanggo nyunting kanthi resolusi dhuwur. Iki dilatih nggunakake data sing dipasangake.
Peneliti nggunakake pix2pixHD minangka input peta conto tambahan amarga nggunakake peta parsing sing diekstrak.
Gerakan Orde Pertama
FOM minangka model animasi gambar sing khas. Iki dilatih ing 256256 gambar lan kinerja sing kurang apik karo ukuran gambar liyane. Akibaté, peneliti pisanan ngukur pigura video dadi 256*256 kanggo FOM dadi animasi lan banjur ngowahi ukuran asil menyang ukuran asline.
Kanggo mbandhingake sing adil, FOM nggunakake pigura gaya pisanan saka pendekatan minangka gambar gaya referensi.
DaGAN
Iku model animasi pasuryan 3D. Padha nggunakake preparation data lan postprocessing cara padha FOM.
Kaluwihan
- Bisa digunakake ing seni, avatar media sosial, film, iklan hiburan, lan liya-liyane.
- Vtoonify uga bisa digunakake ing metaverse.
watesan
- Metodologi iki ngekstrak data lan model saka backbones basis StyleGAN, sing nyebabake bias data lan model.
- Artefak kasebut biasane disebabake dening bedane ukuran antarane wilayah pasuryan sing digayakake lan bagean liyane.
- Strategi iki kurang sukses nalika nangani samubarang ing wilayah pasuryan.
kesimpulan
Pungkasan, VToonify minangka kerangka kanggo toonifikasi video resolusi dhuwur sing dikontrol gaya.
Kerangka iki entuk kinerja sing apik kanggo nangani video lan ngidini kontrol sing amba babagan gaya struktural, gaya warna, lan gelar gaya kanthi nggabungake model toonifikasi gambar adhedhasar StyleGAN saka segi loro-lorone. data sintetik lan struktur jaringan.
Ninggalake a Reply