O jẹ iṣẹ ṣiṣe pataki ati iwunilori ni iran kọnputa ati awọn aworan lati ṣe agbejade awọn fiimu aworan ẹda ti o ga julọ.
Botilẹjẹpe ọpọlọpọ awọn awoṣe ti o munadoko fun imudara aworan aworan ti o da lori StyleGAN ti o lagbara ni a ti dabaa, awọn ilana ti o da lori aworan ni awọn aapọn ti o han gbangba nigba lilo pẹlu awọn fidio, gẹgẹbi iwọn fireemu ti o wa titi, ibeere fun titete oju, isansa ti awọn alaye ti kii ṣe oju , ati aiṣedeede igba diẹ.
Ilana VToonify rogbodiyan ni a lo lati koju iṣakoso ti o nira ti iṣakoso ti o ga ti gbigbe ara fidio aworan.
A yoo ṣe ayẹwo iwadii aipẹ julọ lori VToonify ninu nkan yii, pẹlu iṣẹ ṣiṣe rẹ, awọn apadabọ, ati awọn ifosiwewe miiran.
Kini Vtoonify?
Ilana VToonify ngbanilaaye fun isọdi-giga gbigbe ara fidio aworan aworan.
VToonify nlo aarin- ati awọn fẹlẹfẹlẹ ipinnu giga ti StyleGAN lati ṣẹda awọn aworan aworan ti o ni agbara giga ti o da lori awọn abuda akoonu iwọn-pupọ ti a gba pada nipasẹ koodu koodu lati da awọn alaye fireemu duro.
Abajade ni kikun faaji convolutional gba awọn oju ti ko ni ibamu ni awọn fiimu iwọn oniyipada bi titẹ sii, ti o yorisi ni awọn agbegbe oju-odidi pẹlu awọn agbeka ojulowo ni iṣelọpọ.
Ilana yii jẹ ibamu pẹlu awọn awoṣe toonification aworan ti o da lori StyleGAN lọwọlọwọ, gbigba wọn laaye lati faagun si toonification fidio, ati jogun awọn abuda ti o wuyi gẹgẹbi awọ adijositabulu ati isọdi kikankikan.
yi iwadi ṣafihan awọn ifẹsẹmulẹ meji ti VToonify ti o da lori Toonify ati DualStyleGAN fun orisun-gbigbe ati gbigbe ara fidio aworan apẹẹrẹ, ni atele.
Awọn awari esiperimenta lọpọlọpọ fihan pe ilana VToonify ti a dabaa ṣe ju awọn isunmọ ti o wa tẹlẹ ni ṣiṣe didara giga, awọn fiimu aworan aworan isọpọ fun igba diẹ pẹlu awọn aye ara oniyipada.
Awọn oniwadi pese awọn Google Colab ajako, ki o le gba ọwọ rẹ ni idọti lori rẹ.
Bawo ni o ṣiṣẹ?
Lati ṣaṣeyọri gbigbe ara fidio ti o ga ti o ga, VToonify ṣajọpọ awọn anfani ti ilana itumọ aworan pẹlu ilana orisun StyleGAN.
Lati gba orisirisi awọn iwọn titẹ sii, eto itumọ aworan n gba awọn nẹtiwọọki ikọlu ni kikun. Ikẹkọ lati ibere, ni apa keji, jẹ ki ipinnu giga-giga ati gbigbe ara iṣakoso ko ṣee ṣe.
Awoṣe StyleGAN ti a ti kọ tẹlẹ ni a lo ninu ilana ipilẹ StyleGAN fun ipinnu giga ati gbigbe ara iṣakoso, botilẹjẹpe o ni opin si iwọn aworan ti o wa titi ati awọn adanu alaye.
A ṣe atunṣe StyleGAN ni ilana arabara nipa piparẹ ẹya-ara titẹ sii iwọn ti o wa titi ati awọn fẹlẹfẹlẹ ipinnu-kekere, ti o yọrisi imunado koodu olupilẹṣẹ ni kikun ti o jọra si ti ilana itumọ aworan.
Lati ṣetọju awọn alaye fireemu, kọ kooduopo kan lati yọkuro awọn abuda akoonu iwọn-pupọ ti fireemu igbewọle bi ibeere akoonu afikun si olupilẹṣẹ. Vtoonify jogun irọrun iṣakoso ara awoṣe StyleGAN nipa fifi sii sinu olupilẹṣẹ lati distill mejeeji data rẹ ati awoṣe.
Awọn idiwọn ti StyleGAN & Vtoonify ti a dabaa
Awọn aworan alaworan jẹ wọpọ ni awọn igbesi aye ojoojumọ wa ati ni awọn iṣowo iṣẹda bii aworan, awujo media avatars, sinima, ipolongo ere idaraya, ati be be lo.
Pẹlu idagbasoke ti ẹkọ jinlẹ imọ ẹrọ, o ṣee ṣe ni bayi lati ṣẹda awọn aworan aworan ti o ni agbara giga lati awọn fọto oju-aye gidi nipa lilo gbigbe ara aworan adaṣe adaṣe.
Orisirisi awọn ọna aṣeyọri ti a ṣẹda fun gbigbe ara ti o da lori aworan, ọpọlọpọ eyiti o wa ni irọrun si awọn olumulo ti o bẹrẹ ni irisi awọn ohun elo alagbeka. Ohun elo fidio ni iyara ti di ipilẹ akọkọ ti awọn kikọ sii media awujọ wa ni awọn ọdun pupọ sẹhin.
Dide ti media awujọ ati awọn fiimu ephemeral ti pọ si ibeere fun ṣiṣatunṣe fidio tuntun, gẹgẹbi gbigbe ara fidio aworan, lati ṣe agbejade awọn fidio aṣeyọri ati iwunilori.
Awọn imọ-ẹrọ ti o da lori aworan ti o wa tẹlẹ ni awọn aila-nfani pataki nigba lilo si awọn fiimu, ni opin iwulo wọn ni isọda fidio aworan aladaaṣe.
StyleGAN jẹ eegun ẹhin ti o wọpọ fun idagbasoke awoṣe gbigbe ara aworan aworan nitori agbara rẹ lati ṣẹda awọn oju didara ga pẹlu iṣakoso ara adijositabulu.
Eto ti o da lori StyleGAN (ti a tun mọ si toonification aworan) ṣe koodu oju gidi kan sinu aaye wiwaba StyleGAN ati lẹhinna lo koodu ara ti o yọrisi si itanran StyleGAN miiran ti a ṣatunṣe lori data aworan aworan aworan lati ṣẹda ẹya aṣa.
StyleGAN ṣẹda awọn aworan pẹlu awọn oju ti o ni ibamu ati ni iwọn ti o wa titi, eyiti ko ṣe ojurere awọn oju ti o ni agbara ni aworan agbaye gidi. Gige oju ati titete ninu fidio nigba miiran ja si oju apa kan ati awọn afaraju ti o buruju. Awọn oniwadi pe ọrọ yii ni 'ihamọ-irugbin ti o wa titi' StyleGAN.
Fun awọn oju ti ko ni ibamu, StyleGAN3 ti dabaa; sibẹsibẹ, o ṣe atilẹyin iwọn aworan ti a ṣeto nikan.
Síwájú sí i, ìwádìí kan láìpẹ́ kan ṣàwárí pé yíyọ àwọn ojú tí kò bára dé jẹ́ ìpèníjà ju àwọn ojú tí wọ́n tò lọ. Iyipada oju ti ko tọ jẹ ipalara si gbigbe ara aworan, Abajade ni awọn ọran bii iyipada idanimọ ati awọn paati ti o padanu ninu awọn fireemu ti a tun ṣe ati aṣa.
Gẹgẹbi a ti jiroro, ilana imudara fun gbigbe ara fidio aworan gbọdọ mu awọn ọran wọnyi mu:
- Lati tọju awọn agbeka ojulowo, ọna naa gbọdọ ni anfani lati koju awọn oju ti ko ni ibamu ati awọn titobi fidio ti o yatọ. Iwọn fidio nla kan, tabi igun wiwo, le gba alaye diẹ sii lakoko titọju oju lati gbigbe kuro ni fireemu.
- Lati dije pẹlu awọn ohun elo HD ti o wọpọ lo loni, fidio ti o ga ni pataki.
- Iṣakoso ara rọ yẹ ki o funni fun awọn olumulo lati paarọ ati yan yiyan wọn nigba idagbasoke eto ibaraenisọrọ olumulo gidi kan.
Si idi yẹn, awọn oniwadi daba VToonify, ilana arabara aramada fun toonification fidio. Lati bori idinaduro irugbin na ti o wa titi, awọn oniwadi kọkọ ni ibamu itumọ ni StyleGAN.
VToonify ṣajọpọ awọn anfani ti faaji ti o da lori StyleGAN ati ilana itumọ aworan lati ṣaṣeyọri gbigbe ara fidio aworan aworan ti o ga ti o le ṣatunṣe.
Awọn atẹle ni awọn ilowosi pataki:
- Awọn oniwadi ṣewadii idinaduro-irugbin ti StyleGAN ati gbero ojutu kan ti o da lori ibaramu itumọ.
- Awọn oniwadi ṣe afihan ilana VToonify ti o ni kikun ni kikun fun gbigbe ara fidio ti o ga ti o ni idari ti o ṣe atilẹyin awọn oju ti ko ni ibamu ati awọn titobi fidio oriṣiriṣi.
- Awọn oniwadi ṣe agbero VToonify lori awọn eegun ẹhin ti Toonify ati DualStyleGAN ati di awọn eegun ẹhin ni awọn ofin ti data mejeeji ati awoṣe lati jẹ ki orisun-gbigbe ati gbigbe ara fidio ti o da lori apẹẹrẹ apẹẹrẹ.
Ṣe afiwe Vtoonify pẹlu awọn awoṣe ipo-ti-aworan miiran
Toonify
O ṣiṣẹ bi ipilẹ fun gbigbe-orisun ara gbigbe lori awọn oju ti o ni ibamu pẹlu lilo StyleGAN. Lati gba awọn koodu ara pada, awọn oniwadi gbọdọ ṣe deede awọn oju ati irugbin 256256 awọn fọto fun PSP. A lo Toonify lati ṣe agbekalẹ abajade aṣa pẹlu awọn koodu ara 1024*1024.
Nikẹhin, wọn tun ṣe atunṣe abajade ninu fidio si ipo atilẹba rẹ. Agbegbe ti ko ni aṣa ti ṣeto si dudu.
DualStyleGAN
O jẹ eegun ẹhin fun gbigbe ara-orisun apẹẹrẹ ti o da lori StyleGAN. Wọn lo data kanna ṣaaju- ati awọn ilana imuṣiṣẹ lẹhin bi Toonify.
Pix2pixHD
O jẹ awoṣe itumọ aworan-si-aworan ti o jẹ lilo pupọ lati di awọn awoṣe ti a ti kọkọ ṣaaju fun ṣiṣatunṣe ipinnu giga. O ti wa ni ikẹkọ nipa lilo data so pọ.
Awọn oniwadi lo pix2pixHD gẹgẹbi awọn igbewọle maapu apẹẹrẹ afikun rẹ niwon o nlo maapu itọka jade.
First Bere fun išipopada
FOM jẹ awoṣe ere idaraya aworan aṣoju. O ti ṣe ikẹkọ lori awọn aworan 256256 ati pe ko ṣiṣẹ daradara pẹlu awọn iwọn aworan miiran. Bi abajade, awọn oniwadi kọkọ ṣe iwọn awọn fireemu fidio si 256*256 fun FOM si ere idaraya ati lẹhinna tun awọn abajade pada si iwọn atilẹba wọn.
Fun lafiwe itẹtọ, FOM nlo fireemu aṣa akọkọ ti ọna rẹ bi aworan ara itọkasi rẹ.
DaGAN
O jẹ awoṣe ere idaraya oju 3D kan. Wọn lo igbaradi data kanna ati awọn ọna ṣiṣe lẹhin bi FOM.
Anfani
- O le ṣe iṣẹ ni iṣẹ ọna, awọn avatars media awujọ, awọn fiimu, ipolowo ere idaraya, ati bẹbẹ lọ.
- Vtoonify tun le ṣee lo ni metaverse.
idiwọn
- Ọna yii yọkuro data mejeeji ati awoṣe lati awọn ẹhin ti o da lori StyleGAN, ti o mu abajade data ati abosi awoṣe.
- Awọn ohun-ọṣọ jẹ idi pupọ julọ nipasẹ awọn iyatọ iwọn laarin agbegbe oju ti aṣa ati awọn apakan miiran.
- Ilana yii ko ni aṣeyọri nigbati o ba n ba awọn nkan ṣe ni agbegbe oju.
ipari
Nikẹhin, VToonify jẹ ilana fun imudara fidio ti o ga ti iṣakoso ara.
Ilana yii ṣaṣeyọri iṣẹ ṣiṣe nla ni mimu awọn fidio ṣiṣẹ ati mu ki iṣakoso gbooro lori ara igbekalẹ, ara awọ, ati alefa ara nipasẹ dipọ awọn awoṣe imudara aworan ti o da lori StyleGAN ni awọn ofin ti mejeeji wọn. data sintetiki ati awọn ẹya nẹtiwọki.
Fi a Reply