Ke mosebetsi oa bohlokoa le o lakatsehang ponong ea komporo le lits'oants'o tsa litšoantšo ho hlahisa lifilimi tsa boqapi tsa boemo bo holimo.
Leha mefuta e 'maloa e sebetsang ea toonification ea setšoantšo e thehiloeng ho StyleGAN e matla e hlahisitsoe, mekhoa ena e shebaneng le litšoantšo e na le mefokolo e hlakileng ha e sebelisoa le livideo, joalo ka boholo ba foreimi e tsitsitseng, tlhoko ea ho lokisoa ha sefahleho, ho ba sieo ha lintlha tse seng tsa sefahleho. , le ho se lumellane ha nakoana.
Moralo oa phetoho oa VToonify o sebelisoa ho sebetsana le phetiso e thata e laoloang ea boemo bo phahameng ba setaele sa video.
Re tla hlahloba thuto ea morao-rao ka VToonify sengoloa sena, ho kenyelletsa ts'ebetso ea eona, mathata le lintlha tse ling.
Vtoonify ke eng?
Moralo oa VToonify o lumella phetiso ea setaele sa video se nang le liphetho tse phahameng.
VToonify e sebelisa mekhahlelo ea StyleGAN e mahareng le e phahameng ho theha litšoantšo tsa bonono tsa boleng bo holimo tse ipapisitseng le litšobotsi tse ngata tse nkiloeng ke encoder ho boloka lintlha tsa foreimi.
Sephetho sa meaho e feto-fetohang ka botlalo se nka lifahleho tse sa tobang lifiliming tsa boholo bo fapaneng joalo ka tlhahiso, e hlahisang libaka tse nang le sefahleho se felletseng tse nang le metsamao ea nnete sephethong.
Moralo ona o tsamaellana le mefuta ea hajoale ea litšoantšo tse thehiloeng ho StyleGAN, e li lumellang hore li fetisetsoe ho toonification ea video, 'me li rue litšoaneleho tse khahlang tse kang 'mala o feto-fetohang le ho ikamahanya le matla.
sena se thuto e hlahisa maikutlo a mabeli a VToonify e thehiloeng ho Toonify le DualStyleGAN bakeng sa phetisetso ea setaele sa video e thehiloeng ho pokello le e thehiloeng ho mohlala, ka ho latellana.
Liphuputso tse pharalletseng tsa liteko li bonts'a hore moralo o reriloeng oa VToonify o feta mekhoa e teng ea ho etsa libaesekopo tsa boemo bo holimo, tse tsamaellanang tsa nakoana tse nang le liparamente tse fapaneng tsa setaele.
Bafuputsi ba fana ka Bukana ea Google Colab, e le hore u ka silafatsa matsoho a hao ho eona.
Hona e sebetsa?
Ho fihlela phetisetso ea setaele sa video sa boemo bo holimo, VToonify e kopanya melemo ea moralo oa phetolelo ea setšoantšo le moralo o thehiloeng ho StyleGAN.
Ho amohela boholo bo fapaneng ba ho kenya, sistimi ea phetolelo ea litšoantšo e sebelisa marang-rang a convolutional ka botlalo. Koetliso ho tloha qalong, ka lehlakoreng le leng, e etsa hore phetisetso e phahameng le e laoloang e se ke ea khoneha.
Sebopeho sa StyleGAN se koetlisitsoeng esale pele se sebelisoa moralong o thehiloeng ho StyleGAN bakeng sa phetisetso ea maemo a holimo le e laoloang, leha e lekanyelitsoe ho boholo bo tsitsitseng ba setšoantšo le tahlehelo ea lintlha.
StyleGAN e fetotsoe ka har'a moralo o nyalisitsoeng ka ho hlakola karolo ea eona ea boholo bo sa fetoheng le maemo a tlase, e leng se hlahisang meralo e felletseng ea li-encoder-generator e ts'oanang le ea moralo oa phetolelo ea litšoantšo.
Ho boloka lintlha tsa foreimi, koetlisa mohatisi ho ntša likarolo tse ngata tsa sebopeho sa foreimi e le tlhokahalo e eketsehileng ea litaba ho jenereithara. Vtoonify e rua mokhoa oa ho laola mokhoa oa StyleGAN ka ho e kenya ka har'a jenereithara ho senya lintlha le mohlala oa eona.
Meeli ea StyleGAN & Proposed Vtoonify
Litšoantšo tsa bonono li tloaelehile bophelong ba rona ba letsatsi le letsatsi hammoho le likhoebong tsa boqapi tse kang bonono, metswedi ya dikgang li-avatars, lifilimi, papatso ea boithabiso, joalo-joalo.
Ka nts'etsopele ea thuto e tebileng thekenoloji, hona joale hoa khoneha ho etsa litšoantšo tsa bonono tsa boleng bo phahameng ho tloha litšoantšong tsa sefahleho sa sebele ka ho sebelisa mokhoa o ikemetseng oa ho fetisa setšoantšo.
Ho na le mekhoa e mengata e atlehileng e entsoeng bakeng sa phetisetso e thehiloeng ho setšoantšo, eo bongata ba eona e fumanehang habonolo ho basebelisi ba qalang ka mokhoa oa lits'ebetso tsa mehala. Lisebelisoa tsa video e se e le setsi sa mantlha sa litaba tsa sechaba lilemong tse 'maloa tse fetileng.
Ho phahama ha mecha ea litaba ea sechaba le lifilimi tsa ephemeral ho ekelitse tlhoko ea ntlafatso ea video e ncha, joalo ka phetisetso ea setaele sa litšoantšo, ho hlahisa livideo tse atlehileng le tse khahlisang.
Mekhoa e teng e shebaneng le litšoantšo e na le mefokolo e kholo ha e sebelisoa lifiliming, e fokotsa bohlokoa ba tsona ho setaele sa video sa portrait.
StyleGAN ke mokokotlo o tloaelehileng oa ho theha mofuta oa phetisetso ea setaele sa setšoantšo ka lebaka la bokhoni ba ona ba ho theha lifahleho tsa boleng bo holimo tse nang le taolo e feto-fetohang ea setaele.
Sistimi e thehiloeng ho StyleGAN (eo hape e tsejoang e le setšoantšo sa toonification) e kenyelletsa sefahleho sa 'nete sebakeng se patehileng sa StyleGAN ebe e sebelisa khoutu ea setaele se hlahisoang ho StyleGAN e 'ngoe e hlophisitsoeng hantle ho dataset ea litšoantšo tsa bonono ho theha mofuta oa setaele.
StyleGAN e etsa litšoantšo tse nang le lifahleho tse hokahaneng le ka boholo bo tsitsitseng, tse sa rateng lifahleho tse matla litšoantšong tsa 'nete tsa lefatše. Ka linako tse ling ho fokotsa sefahleho le ho ikamahanya ha video ho fella ka sefahleho se sa fellang le boitšisinyo bo sa thabiseng. Bafuputsi ba bitsa taba ena 'thibelo ea lijalo tse tsitsitseng' ea StyleGAN.
Bakeng sa lifahleho tse sa tsitsang, StyleGAN3 e hlahisitsoe; leha ho le joalo, e tšehetsa feela boholo ba setšoantšo se behiloeng.
Ho feta moo, phuputso ea morao-rao e fumane hore ho kenya lifahleho tse sa lumellaneng ho thata ho feta lifahleho tse lumellanang. Khouto ea sefahleho e fosahetseng e kotsi phetisong ea setaele sa portrait, e bakang mathata a joalo ka ho fetola boitsebiso le likarolo tse sieo liforeiming tse entsoeng bocha le tse hlophisitsoeng.
Joalo ka ha ho boletsoe, mokhoa o sebetsang oa phetisetso ea setaele sa video e tlameha ho sebetsana le litaba tse latelang:
- Ho boloka metsamao ea 'nete, mokhoa ona o tlameha ho sebetsana le lifahleho tse sa tsitsang le boholo bo fapaneng ba video. Sekhahla se seholo sa video, kapa pono e pharalletseng, se ka nka lintlha tse ling ha se ntse se thibela sefahleho ho tsoa ka har'a foreimi.
- Ho qothisana lehlokoa le lisebelisoa tsa HD tse sebelisoang kajeno, ho hlokahala video e nang le boemo bo holimo.
- Taolo ea setaele e feto-fetohang e lokela ho fanoa bakeng sa basebelisi ho fetola le ho khetha khetho ea bona ha ba theha sistimi e sebetsang ea tšebelisano ea basebelisi.
Bakeng sa morero oo, bafuputsi ba fana ka maikutlo a VToonify, moralo o mocha oa lebasetere bakeng sa toonification ea video. Ho hlola tšitiso e tsitsitseng ea lijalo, bafuputsi ba qala ka ho ithuta ho lekana ha phetolelo ho StyleGAN.
VToonify e kopanya melemo ea meralo e thehiloeng ho StyleGAN le moralo oa phetolelo ea litšoantšo ho fihlela phetisetso ea setaele sa video se nang le qeto e phahameng.
Tse latelang ke litlatsetso tse kholo:
- Bafuputsi ba batlisisa tšitiso ea lijalo tse tsitsitseng tsa StyleGAN mme ba sisinya tharollo e ipapisitseng le ho lekana ha liphetolelo.
- Bafuputsi ba fana ka moralo o ikhethileng oa VToonify oa phetisetso ea setaele sa video e nang le liqeto tse phahameng e ts'ehetsang lifahleho tse sa lumellaneng le boholo bo fapaneng ba livideo.
- Bafuputsi ba haha VToonify mokokotlong oa Toonify le DualStyleGAN 'me ba tiisa mokokotlo ho latela lintlha le mohlala ho thusa ho fetisetsa mokhoa oa ho bokelloa le oa mohlala o thehiloeng ho mohlala.
Ho bapisa Vtoonify le mefuta e meng ea morao-rao
Toonify
E sebetsa e le motheo oa phetisetso ea setaele e thehiloeng ho pokello lifahlehong tse tsamaellanang u sebelisa StyleGAN. Ho khutlisa likhoutu tsa setaele, bafuputsi ba tlameha ho hokahanya lifahleho le ho jala linepe tse 256256 bakeng sa PSP. Toonify e sebelisoa ho hlahisa sephetho sa setaele ka likhoutu tsa setaele sa 1024 * 1024.
Qetellong, ba hokahanya sephetho sa video sebakeng sa eona sa pele. Sebaka se sa etsoang setaele se behiloe ho ba batšo.
DualStyleGAN
Ke mokokotlo oa phetisetso e thehiloeng ho mohlala e thehiloeng ho StyleGAN. Ba sebelisa mekhoa e tšoanang ea data pele le morao-rao e le Toonify.
Pix2pixHD
Ke mofuta oa phetolelo oa setšoantšo ho ea ho setšoantšo o sebelisoang hangata ho fokotsa mefuta e ikoetlisitsoeng bakeng sa ho fetola maemo a holimo. E koetlisoa ka ho sebelisa data e kopantsoeng.
Bafuputsi ba sebelisa pix2pixHD joalo ka mohlala oa bona oa tlatsetso oa 'mapa kaha e sebelisa' mapa o ntšitsoeng.
Motion oa Pele oa Tsamaiso
FOM ke mohlala o tloaelehileng oa animation ea litšoantšo. E ne e koetliselitsoe litšoantšong tsa 256256 mme e sebetsa hampe ka boholo ba litšoantšo tse ling. Ka lebaka leo, bafuputsi ba qala ka ho lekanya liforeimi tsa video ho 256*256 hore FOM e be animation, ebe ba fetola sephetho ho saese ea bona ea mantlha.
Bakeng sa papiso e nepahetseng, FOM e sebelisa foreimi ea pele e entsoeng ka setaele e le setšoantšo sa eona sa setaele.
DaGAN
Ke mofuta oa animation ea sefahleho sa 3D. Ba sebelisa mekhoa e ts'oanang ea ho lokisa data le mekhoa ea postprocessing joalo ka FOM.
le menyetla
- E ka sebelisoa ho tsa bonono, li-avatar tsa litaba tsa sechaba, lifilimi, papatso ea boithabiso, joalo-joalo.
- Vtoonify e ka boela ea sebelisoa metaverse.
sheba mefokolo ea
- Mokhoa ona o ntša data le mohlala ho tsoa ho li-backbones tse thehiloeng ho StyleGAN, tse hlahisang leeme la data le mohlala.
- Lintho tse entsoeng ka matsoho li bakoa haholo ke phapang ea boholo pakeng tsa sebaka sa sefahleho sa setaele le likarolo tse ling.
- Leano lena ha le atlehe haholo ha le sebetsana le lintho tse sebakeng sa sefahleho.
fihlela qeto e
Qetellong, VToonify ke moralo oa toonification ea video e laoloang ke setaele e nang le liqeto tse phahameng.
Moralo ona o fihlella ts'ebetso e ntle ea ho sebetsana le livideo mme o nolofalletsa taolo e pharalletseng holim'a setaele sa sebopeho, setaele sa mebala, le degree ea setaele ka ho fokotsa mefuta ea litšoantšo tse thehiloeng ho StyleGAN ho latela bobeli ba tsona. data ya maiketsetso le mekhoa ea marang-rang.
Leave a Reply