Koj puas tau xav hnov koj tus cwj pwm nyiam tham nrog koj? Ntuj-suab-rau-hais lus yog maj mam dhau los ua qhov tseeb nrog kev pab ntawm kev kawm tshuab.
Piv txwv li, Google tus qauv NAT TTS tau siv los txhawb lawv cov tshiab Custom Voice kev pabcuam. Qhov kev pabcuam no siv neural networks los tsim lub suab uas tau kawm los ntawm kev kaw cia. Web apps xws li Uberduck muab ntau pua lub suab rau koj xaiv los tsim koj tus kheej cov ntawv sau ua ke.
Hauv tsab xov xwm no, peb yuav saib dhau qhov zoo nkauj thiab sib npaug AI qauv hu ua 15.ai. Tsim los ntawm tus tsim tawm tsis qhia npe, nws yuav yog ib qho ntawm cov txiaj ntsig zoo tshaj plaws thiab kev xav cov qauv ntawv-rau-hais lus kom deb li deb.
15.ai yog dab tsi?
15.a ib yog AI web daim ntawv thov uas muaj peev xwm tsim cov kev xav tau siab-siab ncaj ncees cov lus-rau-hais lus. Cov neeg siv tuaj yeem xaiv los ntawm ntau lub suab los ntawm Spongebob Squarepants mus rau HAL 9000 los ntawm 2001: A Space Odyssey.
Qhov kev zov me nyuam tau tsim los ntawm tus neeg tsis qhia npe yav dhau los MIT tus kws tshawb fawb ua haujlwm hauv lub npe 15. Tus tsim tawm tau hais tias qhov project tau pib tsim los ntawm lub tsev kawm ntawv qib siab Kev Tshawb Fawb Txog Kev Tshawb Fawb.
Ntau lub suab muaj nyob rau hauv 15.ai tau kawm rau pej xeem cov ntaub ntawv ntawm cov cim los ntawm My Little Pony: Friendship is Magic. Cov kiv cua ntawm cov yeeb yam tau tsim kev sib koom tes los sau, sau, thiab ua cov sij hawm sib tham nrog lub hom phiaj ntawm kev tsim cov ntawv nyeem-rau-hais lus tseeb ntawm lawv cov cim nyiam.
15.ai ua dab tsi?
Daim ntawv thov 15.ai lub vev xaib ua haujlwm los ntawm kev xaiv ib qho ntawm ntau ntau cov cim tsis tseeb uas tus qauv tau raug cob qhia thiab xa cov ntawv nkag. Tom qab txhaj rau Tsim, tus neeg siv yuav tsum tau txais peb lub suab clips ntawm tus cwj pwm tsis tseeb hais txog cov kab uas tau muab.
Txij li thaum lub kawm tob qauv siv yog nondeterministic, 15.ai outputs ib tug me ntsis txawv hais lus txhua txhua lub sij hawm. Zoo ib yam li tus neeg ua yeeb yam yuav xav tau ntau lub sijhawm kom tau txais kev xa khoom zoo, 15.ai tsim cov qauv xa khoom sib txawv txhua lub sijhawm kom txog rau thaum tus neeg siv pom cov khoom uas lawv nyiam.
Qhov project muaj xws li ib tug tshwj xeeb feature uas tso cai rau cov neeg siv manually hloov cov kev xav ntawm cov generated kab siv kev xav contextualizers. Cov kev txwv no muaj peev xwm txiav txim siab qhov kev xav ntawm cov neeg siv kev tawm tswv yim emojis siv MIT's DeepMoji Qauv.
Raws li tus tsim tawm, dab tsi teev 15.ai sib nrug los ntawm lwm cov kev pab cuam TTS zoo sib xws yog tias tus qauv tso siab rau cov ntaub ntawv me me kom raug clone lub suab thaum "ua kom muaj kev xav thiab kev xav zoo li qub".
15.ai Ua Haujlwm Li Cas?
Wb saib mus rau hauv lub tshuab tom qab 15.ai.
Ua ntej, tus tsim tawm tseem ceeb ntawm 15.ai hais tias qhov kev zov me nyuam siv cov qauv kev cai los tsim cov suab nrog ntau lub xeev ntawm kev xav. Txij li thaum tus sau tseem tsis tau tshaj tawm cov ncauj lus kom ntxaws ntawm qhov project, peb tsuas tuaj yeem ua qhov kev xav dav dav ntawm qhov tshwm sim tom qab.
Retrieving the Phonemes
Ua ntej, cia peb saib seb qhov kev zov me nyuam cais cov ntawv sau li cas. Ua ntej qhov kev zov me nyuam tuaj yeem tsim kev hais lus, nws yuav tsum hloov txhua lo lus rau hauv nws cov ntawv sau ntawm phonemes. Piv txwv li, lo lus "dog" yog tsim los ntawm peb lub xov tooj: /d/, /ɒ/, thiab /ɡ/.
Tab sis ua li cas 15.ai paub lub phonemes siv rau txhua lo lus?
Raws li 15.ai's Txog nplooj ntawv, qhov kev zov me nyuam siv lub rooj nrhiav phau ntawv txhais lus. Lub rooj siv Oxford Dictionaries API, Wiktionary, thiab CMU Pronouncing Dictionary ua qhov chaw. 15.ai siv lwm lub vev xaib xws li Reddit thiab Urban Dictionary ua qhov chaw rau cov ntsiab lus tshiab thiab kab lus.
Yog hais tias ib lo lus muab tsis muaj nyob hauv phau ntawv txhais lus, nws cov lus raug txiav tawm siv cov cai phonological tus qauv tau kawm los ntawm LibriTTS dataset. Cov ntaub ntawv no yog ib qho corpus-cov ntaub ntawv ntawm cov lus sau lossis hais lus hauv hom lus lossis hom lus-ntawm kwv yees li 585 teev ntawm cov neeg hais lus Askiv.
Embedding Emotions
Raws li tus tsim tawm, tus qauv sim twv qhov kev xav ntawm cov ntawv nkag. Tus qauv ua tiav txoj haujlwm no los ntawm DeepMoji txoj kev xav hauv nruab siab qauv. Cov qauv tshwj xeeb no tau kawm txog ntau lab tus tweets nrog emojis nrog lub hom phiaj ntawm kev nkag siab tias hom lus siv li cas los qhia kev xav. Qhov tshwm sim ntawm tus qauv yog embedded rau hauv tus qauv TTS rau manipulate cov zis ntawm lub siab xav.
Thaum lub phonemes thiab kev xav tau raug rho tawm los ntawm cov ntawv sau, tam sim no yog lub sijhawm los sib txuas lus.
Suab Cloning thiab Synthesis
Cov qauv ntawv-rau-hais lus xws li 15.ai yog lub npe hu ua ntau tus qauv hais lus. Cov qauv no yog tsim los kom muaj peev xwm kawm paub hais lus sib txawv. Yuav kom cob qhia peb tus qauv kom raug, peb yuav tsum nrhiav txoj hauv kev los rho tawm cov suab tshwj xeeb thiab sawv cev rau hauv txoj hauv kev uas lub khoos phis tawj tuaj yeem nkag siab. Cov txheej txheem no hu ua speaker embedding.
Cov qauv ntawv-rau-hais lus tam sim no siv neural networks los tsim lub suab tso zis. Lub neural network feem ntau muaj ob qhov tseem ceeb: tus encoder thiab tus decoder.
Tus encoder sim tsim ib lub ntsiab lus vector raws li ntau yam input vectors. Cov ntaub ntawv hais txog lub xov tooj, kev xav, thiab lub suab nta tau muab tso rau hauv lub encoder los tsim ib qho kev sawv cev ntawm qhov tso zis yuav tsum yog. Tus decoder ces converts qhov sawv cev rau hauv lub suab thiab outputs ib qho kev ntseeg siab.
Daim ntawv thov 15.ai lub vev xaib tom qab ntawd rov qab peb qhov txiaj ntsig zoo tshaj plaws nrog kev ntseeg siab zoo tshaj plaws.
teeb meem
Nrog kev nce ntawm AI-tsim cov ntsiab lus xws li deepfakes, txhim kho AI siab heev uas tuaj yeem ua raws li tib neeg tiag tiag tuaj yeem yog qhov teeb meem loj rau kev coj ncaj ncees.
Tam sim no, cov suab uas koj tuaj yeem xaiv los ntawm 15.ai lub vev xaib thov yog tag nrho cov cim tsis tseeb. Txawm li cas los xij, qhov ntawd tsis txwv lub app los ntawm kev sib cav qee qhov kev tsis sib haum xeeb hauv online.
Ob peb lub suab ua yeeb yam tau thawb rov qab rau kev siv lub suab cloning thev naus laus zis. Kev txhawj xeeb los ntawm lawv suav nrog kev ua tsis raws cai, kev siv lawv lub suab hauv cov ntsiab lus tsis meej, thiab muaj peev xwm hais tias cov thev naus laus zis tuaj yeem ua rau lub luag haujlwm ntawm lub suab ua yeeb yam dhau los.
Lwm qhov kev tsis sib haum xeeb tau tshwm sim ua ntej xyoo 2022 thaum lub tuam txhab hu ua Voiceverse NFT tau tshawb pom los siv 15.ai los tsim cov ntsiab lus rau lawv cov phiaj xwm kev lag luam.
xaus
Cov ntawv nyeem-rau-hais lus twb muaj ntau heev hauv lub neej txhua hnub. Lub suab pab, GPS navigators. thiab automated hu xov tooj twb dhau los ua qhov chaw. Txawm li cas los xij, cov ntawv thov no yog qhov txawv tsis yog tib neeg txaus uas peb tuaj yeem qhia tau tias lawv yog tshuab ua lus.
Lub suab nrov thiab kev xav TTS thev naus laus zis tuaj yeem qhib qhov rooj rau cov ntawv thov tshiab. Txawm li cas los xij, kev coj ncaj ncees ntawm lub suab cloning tseem muaj lus nug zoo tshaj plaws. Nws yeej ua rau muaj kev nkag siab vim li cas ntau tus kws tshawb fawb no tau tsis kam qhia cov algorithm rau pej xeem.
Sau ntawv cia Ncua