Tha e na obair dheatamach agus ion-mhiannaichte ann an lèirsinn coimpiutair agus grafaigean filmichean dhealbhan cruthachail den chàileachd as àirde a thoirt gu buil.
Ged a chaidh grunn mhodalan èifeachdach airson toonification ìomhaigh dhealbhan stèidhichte air an StyleGAN cumhachdach a mholadh, tha eas-bhuannachdan soilleir aig na dòighean ìomhaigh seo nuair a thèid an cleachdadh le bhideothan, leithid meud frèam stèidhichte, an riatanas airson co-thaobhadh aghaidh, às aonais mion-fhiosrachadh neo-aghaidh. , agus neo-sheasmhachd aimsireil.
Thathas a’ cleachdadh frèam rèabhlaideach VToonify gus dèiligeadh ris a’ ghluasad stoidhle bhidio dealbh àrd-rùn fo smachd.
Nì sinn sgrùdadh air an sgrùdadh as ùire air VToonify san artaigil seo, a’ toirt a-steach gnìomhachd, eas-bhuannachdan, agus factaran eile.
Dè a th’ ann an Vtoonify?
Tha frèam VToonify a’ ceadachadh tar-chuir stoidhle bhidio dealbh àrd-rèiteachaidh gnàthaichte.
Bidh VToonify a’ cleachdadh sreathan meadhan-agus àrd-rùn StyleGAN gus dealbhan ealanta àrd-inbhe a chruthachadh stèidhichte air feartan susbaint ioma-sgèile a chaidh fhaighinn air ais le encoder gus mion-fhiosrachadh frèam a chumail.
Bidh an ailtireachd làn connspaideach a thig às a sin a’ toirt aghaidhean neo-cheangailte ann am filmichean meud caochlaideach mar chur-a-steach, a’ leantainn gu roinnean aghaidh slàn le gluasadan reusanta san toradh.
Tha am frèam seo co-chòrdail ri modalan toonification ìomhaigh gnàthach stèidhichte air StyleGAN, a’ leigeil leotha a bhith air an leudachadh gu toonification bhidio, agus a ’sealbhachadh feartan tarraingeach leithid dath a ghabhas atharrachadh agus gnàthachadh dian.
Tha seo a ' sgrùdadh a’ toirt a-steach dà thionndadh de VToonify stèidhichte air Toonify agus DualStyleGAN airson gluasad stoidhle bhidio dealbh stèidhichte air cruinneachadh agus eisimpleir, fa leth.
Tha co-dhùnaidhean deuchainneach farsaing a’ sealltainn gu bheil am frèam VToonify a thathar a’ moladh a’ coileanadh nas fheàrr na dòighean-obrach a th’ ann mar-thà ann a bhith a’ dèanamh fhilmichean dhealbhan ealanta àrd-chàileachdail le rianail le paramadairean stoidhle caochlaideach.
Bidh luchd-rannsachaidh a’ toirt seachad an Leabhar notaichean Google Colab, gus am faigh thu do làmhan salach air.
Ciamar a dh'obraicheas e?
Gus gluasad stoidhle bhidio dealbh àrd-rèiteachaidh a choileanadh, bidh VToonify a’ cothlamadh buannachdan frèam eadar-theangachadh ìomhaigh leis an fhrèam stèidhichte air StyleGAN.
Gus gabhail ri diofar mheudan cuir a-steach, tha an siostam eadar-theangachaidh ìomhaigh a’ cleachdadh lìonraidhean làn-chonnspaideach. Tha trèanadh bhon fhìor thoiseach, air an làimh eile, ga dhèanamh comasach tar-chuir stoidhle àrd-rùn agus fo smachd.
Tha am modal StyleGAN ro-thrèanadh air a chleachdadh anns an fhrèam stèidhichte air StyleGAN airson gluasad stoidhle àrd-rùn agus fo smachd, ged a tha e cuingealaichte ri meud dealbh stèidhichte agus call mion-fhiosrachaidh.
Tha StyleGAN air atharrachadh anns an fhrèam tar-chinealach le bhith a’ cuir às don fheart cuir a-steach meud stèidhichte agus sreathan le rùn ìosal, a’ leantainn gu ailtireachd encoder-generator làn-chonnspaideach coltach ris an fhrèam eadar-theangachaidh ìomhaigh.
Gus mion-fhiosrachadh frèam a chumail suas, trèanadh encoder gus feartan susbaint ioma-sgèile a thoirt a-mach às an fhrèam cuir a-steach mar riatanas susbaint a bharrachd don ghineadair. Bidh Vtoonify a’ sealbhachadh sùbailteachd smachd stoidhle modail StyleGAN le bhith ga chuir a-steach don ghineadair gus an dàta agus am modail aige a tharraing.
Crìochan StyleGAN & Vtoonify a thathar a’ moladh
Tha dealbhan ealanta cumanta nar beatha làitheil a bharrachd air ann an gnìomhachasan cruthachail leithid ealain, meadhanan sòisealta avatars, filmichean, sanasachd dibhearsain, agus mar sin air adhart.
Le leasachadh ionnsachadh domhainn teicneòlas, tha e comasach a-nis dealbhan ealanta àrd-inbhe a chruthachadh bho dhealbhan aghaidh fìor a’ cleachdadh gluasad stoidhle dhealbhan fèin-ghluasadach.
Tha grunn dhòighean soirbheachail air an cruthachadh airson gluasad stoidhle stèidhichte air ìomhaigh, agus tha mòran dhiubh rim faighinn gu furasta do luchd-cleachdaidh tòiseachaidh ann an cruth thagraidhean gluasadach. Tha stuth bhidio air a thighinn gu luath gu bhith na phrìomh bhunait de na biadhan meadhanan sòisealta againn thairis air na grunn bhliadhnaichean a dh’ fhalbh.
Tha àrdachadh nam meadhanan sòisealta agus filmichean geàrr-ùine air àrdachadh a thoirt air an iarrtas airson deasachadh bhidio ùr-ghnàthach, leithid gluasad stoidhle bhidio dhealbhan, gus bhideothan soirbheachail is inntinneach a ghineadh.
Tha eas-bhuannachdan mòra aig dòighean-obrach stèidhichte air ìomhaigh nuair a thèid an cur an sàs ann am filmichean, a’ cuingealachadh cho feumail sa tha iad ann an stoidhle bhidio dhealbhan fèin-ghluasadach.
Tha StyleGAN na chnàimh-droma cumanta airson a bhith a’ leasachadh modal gluasad stoidhle dealbh dhealbhan air sgàth a chomas aghaidhean àrd-inbhe a chruthachadh le riaghladh stoidhle a ghabhas atharrachadh.
Bidh siostam stèidhichte air StyleGAN (ris an canar cuideachd dealbh toonification) a’ còdachadh fìor aghaidh a-steach don àite falaichte StyleGAN agus an uairsin a’ cur a’ chòd stoidhle a thig às an sin gu StyleGAN eile air a dheagh ghleusadh air an stòr-dàta dhealbhan ealain gus dreach stoidhle a chruthachadh.
Bidh StyleGAN a’ cruthachadh dhealbhan le aghaidhean co-thaobhadh agus aig meud stèidhichte, nach eil fàbharach dha aghaidhean fiùghantach ann am fiolm san t-saoghal fhìor. Bidh bàrr aghaidh agus co-thaobhadh anns a’ bhidio uaireannan ag adhbhrachadh aodann pàirt agus gluasadan neònach. Canaidh luchd-rannsachaidh ris a’ chùis seo ‘cuingealachadh bàrr stèidhichte’ aig StyleGAN.
Airson aghaidhean neo-ainmichte, thathar air StyleGAN3 a mholadh; ge-tà, chan eil e a’ toirt taic ach do mheud dealbh stèidhichte.
A bharrachd air an sin, lorg sgrùdadh o chionn ghoirid gu bheil còdachadh aghaidhean gun cheangal nas dùbhlanaiche na aghaidhean co-thaobhadh. Tha còdachadh aghaidh ceàrr cronail air gluasad stoidhle dhealbhan, a’ leantainn gu cùisean leithid atharrachadh dearbh-aithne agus pàirtean a tha a dhìth anns na frèamaichean ath-chruthaichte agus le stoidhle.
Mar a chaidh a dheasbad, feumaidh dòigh èifeachdach airson gluasad stoidhle bhidio dhealbhan dèiligeadh ris na cùisean a leanas:
- Gus gluasadan reusanta a ghleidheadh, feumaidh an dòigh-obrach a bhith comasach air dèiligeadh ri aghaidhean neo-ainmichte agus meudan bhidio eadar-dhealaichte. Faodaidh meud bhidio mòr, no sealladh farsaing, barrachd fiosrachaidh a ghlacadh fhad ‘s a chumas e an aghaidh bho bhith a’ gluasad a-mach à frèam.
- Gus farpais ris na h-innealan HD a thathas a’ cleachdadh gu cumanta an-diugh, tha feum air bhidio àrd-rèiteachaidh.
- Bu chòir smachd stoidhle sùbailte a thabhann do luchd-cleachdaidh an roghainn atharrachadh agus a thaghadh nuair a bhios iad a’ leasachadh siostam eadar-obrachaidh cleachdaiche reusanta.
Gus an adhbhar sin, tha luchd-rannsachaidh a’ moladh VToonify, frèam ùr tar-chinealach airson toonification bhidio. Gus faighinn thairis air a’ bhacadh bàrr stèidhichte, bidh luchd-rannsachaidh an-toiseach a’ sgrùdadh co-ionannachd eadar-theangachaidh ann an StyleGAN.
Bidh VToonify a’ cothlamadh buannachdan an ailtireachd stèidhichte air StyleGAN agus am frèam eadar-theangachadh ìomhaigh gus gluasad stoidhle bhidio dealbh àrd-rèiteachaidh a ghabhas atharrachadh.
Seo na prìomh thabhartasan:
- Bidh luchd-rannsachaidh a’ sgrùdadh cuingealachadh bàrr stèidhichte StyleGAN agus a’ moladh fuasgladh stèidhichte air co-ionannachd eadar-theangachaidh.
- Bidh luchd-rannsachaidh a’ taisbeanadh frèam VToonify làn-chonnspaideach airson gluasad stoidhle bhidio dealbh àrd-rùn fo smachd a bheir taic do aghaidhean neo-ainmichte agus diofar mheudan bhidio.
- Bidh luchd-rannsachaidh a’ togail VToonify air cnàmhan cùil Toonify agus DualStyleGAN agus a’ dùmhlachadh nan cnàmhan-cùil a thaobh an dà chuid dàta agus modail gus leigeil le gluasad stoidhle bhidio dealbh stèidhichte air cruinneachadh agus eisimpleireach.
A’ dèanamh coimeas eadar Vtoonify agus modalan ùr-nodha eile
Toonify
Tha e na bhunait airson gluasad stoidhle stèidhichte air cruinneachadh air aghaidhean co-thaobhadh a’ cleachdadh StyleGAN. Gus na còdan stoidhle fhaighinn air ais, feumaidh luchd-rannsachaidh aghaidhean a cho-thaobhadh agus dealbhan 256256 a bhàrr airson PSP. Tha Toonify air a chleachdadh gus toradh stoidhle a ghineadh le còdan stoidhle 1024 * 1024.
Mu dheireadh, bidh iad ag ath-thaobhadh toradh a ’bhidio chun àite tùsail aige. Tha an raon gun stoidhle air a chuir gu dubh.
DualStyleGAN
Tha e na chnàimh-droma airson gluasad stoidhle eisimpleireach stèidhichte air StyleGAN. Bidh iad a’ cleachdadh na h-aon dhòighean dàta ro-agus às dèidh giollachd ri Toonify.
Pix2 hd
Is e modal eadar-theangachaidh ìomhaigh-gu-ìomhaigh a th’ ann a thathas gu tric air a chleachdadh gus modalan ro-thrèanadh a dhlùthadh airson deasachadh àrd-rèiteachaidh. Tha e air a thrèanadh le bhith a’ cleachdadh dàta càraideach.
Bidh luchd-rannsachaidh a’ cleachdadh pix2pixHD mar an cuir a-steach mapa eisimpleir a bharrachd leis gu bheil e a’ cleachdadh mapa parsaidh a chaidh a thoirt a-mach.
Gluasad ciad òrdugh
Tha FOM na mhodail beòthalachd ìomhaigh àbhaisteach. Chaidh a thrèanadh air dealbhan 256256 agus chan eil e a’ coileanadh gu math le meudan ìomhaigh eile. Mar thoradh air an sin, bidh luchd-rannsachaidh an-toiseach a’ sgèile na frèamaichean bhidio gu 256 * 256 airson FOM gu beòthachadh agus an uairsin ag ath-mheudachadh nan toraidhean chun mheud tùsail aca.
Airson coimeas cothromach, bidh FOM a’ cleachdadh a’ chiad fhrèam stoidhle den dòigh-obrach aige mar an ìomhaigh stoidhle iomraidh aige.
DaGAN
Is e modal beòthalachd aghaidh 3D a th’ ann. Bidh iad a’ cleachdadh na h-aon dhòighean ullachaidh dàta agus iar-ghiollachd ri FOM.
buannachdan
- Faodar a chleachdadh anns na h-ealain, avatars meadhanan sòisealta, filmichean, sanasachd dibhearsain, agus mar sin air adhart.
- Faodar Vtoonify a chleachdadh anns an metaverse cuideachd.
Crìochan
- Bidh am modh-obrach seo a’ toirt a-mach an dà chuid an dàta agus am modail bho na cnàmhan-cùil stèidhichte air StyleGAN, a’ leantainn gu claonadh dàta agus modail.
- Tha na stuthan air an adhbhrachadh sa mhòr-chuid le eadar-dhealachaidhean meud eadar an roinn aghaidh stoidhle agus na h-earrannan eile.
- Chan eil an ro-innleachd seo cho soirbheachail nuair a thathar a’ dèiligeadh ri cùisean san roinn aghaidh.
Co-dhùnadh
Mu dheireadh, tha VToonify na fhrèam airson toonification bhidio àrd-rèiteachaidh fo smachd stoidhle.
Tha am frèam seo a’ coileanadh deagh choileanadh ann a bhith a’ làimhseachadh bhideothan agus a’ comasachadh smachd farsaing air stoidhle structarail, stoidhle dath, agus ìre stoidhle le bhith a’ dlùthachadh mhodalan toonification ìomhaigh stèidhichte air StyleGAN a thaobh an dà chuid an dàta synthetigeach agus structaran lìonra.
Leave a Reply