Is tasc ríthábhachtach agus inmhianaithe é i bhfís ríomhaireachta agus i ngrafaicí scannáin chruthaitheacha portráide den chaighdeán is airde a tháirgeadh.
Cé go bhfuil roinnt samhlacha éifeachtacha le haghaidh toonification íomhá portráid bunaithe ar an StyleGAN potent molta, tá míbhuntáistí soiléire ag na teicníochtaí íomhá-dhírithe seo nuair a úsáidtear iad le físeáin, amhail méid an fhráma sheasta, an gá atá le ailíniú aghaidh, gan sonraí neamh-aghaidhe. , agus neamhréireacht ama.
Úsáidtear creat réabhlóideach VToonify chun dul i ngleic leis an aistriú deacair stíle físeáin portráid ard-réitigh.
Scrúdóimid an staidéar is déanaí ar VToonify san Airteagal seo, lena n-áirítear a fheidhmiúlacht, míbhuntáistí agus fachtóirí eile.
Cad é Vtoonify?
Ceadaíonn creat VToonify do tharchur ardtaifigh stíl físeán portráid inoiriúnaithe.
Úsáideann VToonify sraitheanna meánacha agus ardtaifigh StyleGAN chun portráidí ealaíne ardchaighdeáin a chruthú bunaithe ar shaintréithe ábhair ilscála arna n-aisghabháil ag ionchódóir chun sonraí an fhráma a choinneáil.
Tógtar aghaidheanna neamh-ailínithe i scannáin de mhéid inathraithe mar ionchur don ailtireacht lán-raonta dá bharr, rud a fhágann go mbíonn réigiúin aghaidhe iomláin le gluaiseachtaí réalaíocha san aschur.
Tá an creat seo ag luí leis na samhlacha toonification íomhá atá bunaithe ar StyleGAN atá ann faoi láthair, rud a ligeann dóibh a leathnú chuig toonification físeáin, agus tá tréithe tarraingteacha aige mar shaincheapadh dath inchoigeartaithe agus déine.
seo staidéar a dhéanamh ar tugtar isteach dhá instantiation de VToonify bunaithe ar Toonify agus DualStyleGAN le haghaidh aistrithe stíl físeán portráid bunaithe ar bhailiúchán agus eiseamláireach, faoi seach.
Léiríonn torthaí turgnamhacha fairsinge go sáraíonn an creat VToonify atá beartaithe na cineálacha cur chuige atá ann cheana féin maidir le scannáin ealaíne portráide ardcháilíochta atá comhleanúnach ó thaobh ama a dhéanamh agus a bhfuil paraiméadair stíleanna athraitheacha acu.
Soláthraíonn taighdeoirí na Leabhar nótaí Google Colab, ionas gur féidir leat do lámha a fháil salach air.
Conas a oibríonn sé?
Chun aistriú físe portráide ardtaifigh inchoigeartaithe a bhaint amach, comhcheanglaíonn VToonify buntáistí an chreata aistriúcháin íomhá leis an gcreat bunaithe ar StyleGAN.
Chun freastal ar mhéideanna éagsúla ionchuir, úsáideann an córas aistriúcháin íomhá líonraí lán-raonta. Ar an láimh eile, ní féidir tarchur stíl ardtaifigh agus rialaithe a dhéanamh le hoiliúint ón tús.
Úsáidtear an tsamhail StyleGAN réamh-oilte i gcreat StyleGAN-bhunaithe le haghaidh aistriú stíl ardtaifigh agus rialaithe, cé go bhfuil sé teoranta do mhéid pictiúr seasta agus caillteanais sonraí.
Déantar StyleGAN a mhodhnú sa chreat hibrideach trína ghné ionchuir ar mhéid seasta agus a sraitheanna ísealtaifigh a scriosadh, rud a fhágann go bhfuil ailtireacht ionchódóra-gineadóir lán-raonta cosúil leis an gcreat aistriúcháin íomhá.
Chun mionsonraí an fhráma a choinneáil, cuir oiliúint ar ionchódóir chun tréithe ábhar ilscála den fhráma ionchuir a bhaint as mar riachtanas ábhar breise don ghineadóir. Faigheann Vtoonify oidhreacht le solúbthacht rialaithe stíl mhúnla StyleGAN trína chur isteach sa ghineadóir chun a shonraí agus a mhúnla a dhriogadh.
Teorainneacha StyleGAN & Vtoonify Molta
Tá portráidí ealaíne coitianta inár saol laethúil agus i ngnóthaí cruthaitheacha ar nós na healaíne, na meáin shóisialta avatars, scannáin, fógraíocht siamsaíochta, agus mar sin de.
Le forbairt foghlaim domhain teicneolaíocht, is féidir anois portráidí ealaíne ardchaighdeáin a chruthú ó ghrianghraif aghaidh fíor-saoil ag baint úsáide as aistriú uathoibrithe stíl portráide.
Tá bealaí rathúla éagsúla cruthaithe le haghaidh aistriú stíl íomhá-bhunaithe, agus tá go leor acu inrochtana go héasca d’úsáideoirí tosaigh i bhfoirm feidhmchláir shoghluaiste. Tá ábhar físe ina bhunchloch dár bhfothaí meán sóisialta le blianta beaga anuas.
Mhéadaigh an t-ardú ar na meáin shóisialta agus scannáin ghearrshaolacha an t-éileamh ar eagarthóireacht físeán nuálaíoch, mar aistriú stíl físeáin portráid, chun físeáin rathúla agus suimiúla a ghiniúint.
Tá míbhuntáistí suntasacha ag baint le teicnící íomhá-dhírithe atá ann cheana nuair a chuirtear i bhfeidhm iad ar scannáin, rud a chuireann teorainn lena n-úsáidí i stíliú físe portráide uathoibrithe.
Is cnámh droma coitianta é StyleGAN chun múnla aistrithe stíl pictiúr portráid a fhorbairt mar gheall ar a chumas aghaidheanna ardchaighdeáin a chruthú le bainistíocht stíl inchoigeartaithe.
Ionchódaíonn córas atá bunaithe ar StyleGAN (ar a dtugtar toonification pictiúr freisin) fíor-aghaidh isteach i spás folaigh StyleGAN agus ansin cuireann sé an cód stíle a bhíonn mar thoradh air i bhfeidhm ar StyleGAN eile arna mhionchoigeartú ar an tacar sonraí portráide ealaíne chun leagan stílithe a chruthú.
Cruthaíonn StyleGAN pictiúir le aghaidheanna ailínithe agus ar mhéid seasta, rud nach bhfuil i bhfabhar aghaidheanna dinimiciúla i bpíosaí scannáin den saol fíor. Uaireanta bíonn aghaidh pháirteach agus gothaí achrannacha mar thoradh ar bearradh aghaidhe agus ailíniú san fhíseán. Tugann taighdeoirí 'srian seasta ar bharra seasta' ar an tsaincheist seo.
I gcás aghaidheanna neamhailínithe, tá StyleGAN3 molta; áfach, ní thacaíonn sé ach méid pictiúr socraithe.
Ina theannta sin, fuair staidéar le déanaí amach go bhfuil sé níos dúshlánaí aghaidheanna neamhailínithe a ionchódú ná aghaidheanna ailínithe. Déanann ionchódú aghaidh mícheart dochar d'aistriú stíl portráide, rud a fhágann go bhfuil saincheisteanna cosúil le hathrú aitheantais agus comhpháirteanna in easnamh sna frámaí atógtha agus stílithe.
Mar a pléadh, ní mór na saincheisteanna seo a leanas a láimhseáil mar theicníc éifeachtach le haghaidh aistriú físe portráide:
- Chun gluaiseachtaí réalaíocha a chaomhnú, caithfidh an cur chuige a bheith in ann déileáil le aghaidheanna neamhailínithe agus méideanna éagsúla físeáin. Is féidir le méid físeán mór, nó uillinn radhairc leathan, tuilleadh faisnéise a ghabháil agus an aghaidh a choinneáil ó bhogadh amach as an bhfráma.
- Chun dul san iomaíocht le giuirléidí HD a úsáidtear go coitianta an lae inniu, tá gá le físeáin ardtaifigh.
- Ba cheart rialú solúbtha stíle a thairiscint d’úsáideoirí chun a rogha a athrú agus a roghnú agus córas réalaíoch idirghníomhaíochta úsáideora á fhorbairt.
Chun na críche sin, molann taighdeoirí VToonify, creat hibrideach nua le haghaidh toonification físeáin. Chun an srian seasta ar bharr a shárú, déanann taighdeoirí staidéar ar choibhéis aistriúcháin i StyleGAN den chéad uair.
Comhcheanglaíonn VToonify na buntáistí a bhaineann leis an ailtireacht StyleGAN-bhunaithe agus an creat aistriúcháin íomhá chun aistriú stíl físe portráid ard-réiteach inchoigeartaithe a bhaint amach.
Seo a leanas na ranníocaíochtaí móra:
- Déanann taighdeoirí imscrúdú ar shrianadh barr seasta StyleGAN agus molann siad réiteach bunaithe ar choibhéis aistriúcháin.
- Cuireann taighdeoirí creat VToonify uathúil lán-raonta i láthair le haghaidh aistriú stíle físeáin portráid ardtaifigh rialaithe a thacaíonn le haghaidheanna neamhailínithe agus méideanna físeáin éagsúla.
- Tógann taighdeoirí VToonify ar chnámha droma Toonify agus DualStyleGAN agus comhdhlúthaíonn siad na cnámha droma i dtéarmaí sonraí agus samhail araon chun aistriú stíl físe portráide bunaithe ar bhailiúcháin agus eiseamláireach a chumasú.
Vtoonify a chur i gcomparáid le samhlacha úrscothacha eile
Toonify
Feidhmíonn sé mar bhunús le haghaidh aistriú stíl bunaithe ar bhailiúcháin ar aghaidheanna ailínithe ag baint úsáide as StyleGAN. Chun na cóid stíle a aisghabháil, ní mór do thaighdeoirí aghaidheanna agus barr 256256 grianghraf a ailíniú le haghaidh PSP. Úsáidtear Toonify chun toradh stílithe a ghiniúint le cóid stíl 1024*1024.
Ar deireadh, déanann siad toradh an fhís a athailíniú go dtí a suíomh bunaidh. Tá an limistéar neamh-stílithe socraithe go dubh.
DualStyleGAN
Is cnámh droma é d’aistriú stíl eiseamláireach bunaithe ar StyleGAN. Úsáideann siad na teicnící réamhphróiseála agus iar-phróiseála sonraí céanna le Toonify.
Pix2pixHD
Múnla aistrithe íomhá-go-íomhá é a úsáidtear go coitianta chun samhlacha réamh-oilte a chomhdhlúthú le haghaidh eagarthóireacht ardtaifigh. Tá sé oilte ag baint úsáide as sonraí péireáilte.
Úsáideann taighdeoirí pix2pixHD mar a ionchuir léarscáile ásc breise ós rud é go n-úsáideann sé léarscáil parsála asbhainte.
Tairiscint Chéad Ordú
Is múnla tipiciúil beochana íomhá é FOM. Cuireadh oiliúint air ar 256256 pictiúr agus ní fheidhmíonn sé go dona le méideanna íomhá eile. Mar thoradh air sin, scálaigh na taighdeoirí na frámaí físeáin go 256*256 ar dtús le go mbeifear in ann FOM a bheochan agus ansin déan na torthaí a athrú go dtí a mbunmhéid.
Chun comparáid chothrom a dhéanamh, úsáideann FOM an chéad fhráma stílithe dá chur chuige mar a íomhá stíl tagartha.
DaGAN
Is samhail beochana aghaidh 3D é. Úsáideann siad na modhanna céanna ullmhaithe sonraí agus iarphróiseála agus a úsáideann FOM.
buntáistí
- Is féidir é a úsáid sna healaíona, avatars meáin shóisialta, scannáin, fógraíocht siamsaíochta, agus mar sin de.
- Is féidir Vtoonify a úsáid sa mheitreach freisin.
Teorainneacha
- Baintear na sonraí agus an tsamhail araon as na cnámha droma atá bunaithe ar StyleGAN leis an modheolaíocht seo, rud a fhágann go bhfuil claonadh sonraí agus samhail ann.
- Déantar na déantáin den chuid is mó mar gheall ar dhifríochtaí méide idir an réigiún aghaidhe stílithe agus na hailt eile.
- Níl an rath céanna ar an straitéis seo agus muid ag déileáil le rudaí sa réigiún aghaidh.
Conclúid
Ar deireadh, is creat é VToonify le haghaidh toonification físeáin ardtaifigh stíl-rialaithe.
Baineann an creat seo amach feidhmíocht iontach maidir le físeáin a láimhseáil agus cuireann sé ar chumas rialú leathan ar an stíl struchtúrach, stíl dath, agus céim stíl trí mhúnlaí toonification íomhá bunaithe ar StyleGAN a chomhdhlúthú i dtéarmaí a gcuid sonraí sintéiseacha agus struchtúir líonra.
Leave a Reply