Koj puas tuaj yeem siv AI los tsim cov ntaub ntawv tshiab los ntawm koj tus kws tshaj lij?
Tsis ntev los no kev ua tiav hauv kev kawm tshuab tau pom tias cov qauv tam sim no muaj peev xwm nkag siab cov ntaub ntawv nyuaj xws li cov ntawv nyeem thiab cov duab. OpenAI's Jukebox ua pov thawj tias txawm tias cov suab paj nruag tuaj yeem ua qauv zoo los ntawm lub network neural.
Suab paj nruag yog ib yam khoom nyuaj rau tus qauv. Koj yuav tsum tau xav txog ob qho tib si yooj yim xws li tempo, nrov, thiab suab thiab ntau yam nta xws li cov nkauj, cov cuab yeej, thiab cov qauv suab paj nruag.
Siv advanced tshuab kev kawm Cov tswv yim, OpenAI tau pom ib txoj hauv kev los hloov cov suab nrov rau hauv cov sawv cev uas lwm cov qauv siv tau.
Kab lus no yuav piav qhia txog dab tsi Jukebox tuaj yeem ua tau, nws ua haujlwm li cas, thiab cov kev txwv tam sim no ntawm kev siv tshuab.
Jukebox AI yog dab tsi?
Jukebox yog tus qauv neural net los ntawm OpenAI uas tuaj yeem tsim cov suab paj nruag nrog kev hu nkauj. Tus qauv tuaj yeem tsim suab paj nruag hauv ntau hom thiab cov yeeb yaj kiab.
Piv txwv li, Jukebox tuaj yeem tsim cov nkauj pob zeb hauv cov style ntawm Elvis Presley lossis hip hop tune nyob rau hauv style ntawm Kanye West. Koj tuaj yeem mus xyuas qhov no website txhawm rau tshawb xyuas qhov ua tau zoo npaum li cas tus qauv ntawm kev ntes lub suab ntawm koj nyiam cov kws ua yeeb yaj kiab thiab lwm yam.
Tus qauv yuav tsum muaj ib hom ntawv, tus kws kos duab, thiab cov nkauj raws li kev nkag. Qhov kev tawm tswv yim no qhia tus qauv kawm txog ntau lab tus kws ua yeeb yam thiab cov ntaub ntawv nkauj.
Jukebox ua haujlwm li cas?
Cia peb saib yuav ua li cas Jukebox tswj kom tsim cov suab tshiab tshiab los ntawm tus qauv kawm txog ntau lab ntawm cov nkauj.
Txheej txheem encoding
Thaum qee cov qauv tsim suab paj nruag siv MIDI cov ntaub ntawv qhia, Jukebox tau kawm ntawm cov ntaub ntawv raw cov ntaub ntawv. Txhawm rau rub lub suab rau hauv qhov chaw sib cais, Jukebox siv txoj hauv kev pib-encoder hu ua VQ-VAE.
VQ-UA stands rau Vector Quantized Variational Autoencoder, uas yuav suab nyuaj me ntsis, yog li cia peb rhuav nws.
Ua ntej, cia peb sim nkag siab tias peb xav ua dab tsi ntawm no. Muab piv rau cov nkauj lossis cov nkauj, cov ntaub ntawv suab nyoos yog qhov nyuaj dua. Yog tias peb xav kom peb tus qauv "kawm" los ntawm cov nkauj, peb yuav tau hloov nws mus rau hauv ib qho kev nthuav dav thiab yooj yim sawv cev. Hauv tshuab kev kawm, peb hu qhov kev sawv cev hauv qab no a qhov chaw latent.
An autoencode yog ib txoj kev kawm uas tsis muaj kev saib xyuas uas siv a neural network nrhiav cov tsis-linear latent sawv cev rau cov ntaub ntawv muab faib. Lub autoencoder muaj ob ntu: tus encoder thiab decoder.
cov encoder sim nrhiav qhov chaw latent los ntawm cov ntaub ntawv nyoos thaum lub Decoder siv tus sawv cev latent los sim rov tsim kho nws rov qab rau hauv nws hom qub. Lub autoencoder yeej tseem ceeb kawm yuav ua li cas rau compress cov ntaub ntawv nyoos nyob rau hauv xws li ib txoj kev uas minimizes reconstruction yuam kev.
Tam sim no peb paub tias tus autoencoder ua li cas, cia peb sim nkag siab tias peb txhais li cas los ntawm "variational" autoencoder. Piv rau cov autoencoders ib txwm, variational autoencoders ntxiv ua ntej qhov chaw latent.
Yog tsis dhia mus rau hauv kev ua lej, ntxiv qhov ua ntej ua ntej ua rau qhov kev faib tawm latent ze ze. Qhov sib txawv tseem ceeb ntawm VAE thiab VQ-VAE yog qhov tom kawg siv qhov sib txawv latent sawv cev tsis yog ib qho txuas ntxiv.
Txhua qib VQ-VAE nws tus kheej encodes cov tswv yim. Cov qib hauv qab encoding tsim cov kev tsim kho zoo tshaj plaws. Cov theem saum toj kawg nkaus encoding khaws cov ntaub ntawv suab paj nruag tseem ceeb.
Siv Transformers
Tam sim no peb muaj cov lej suab paj nruag encoded los ntawm VQ-VAE, peb tuaj yeem sim tsim suab paj nruag nyob rau hauv no compressed discrete qhov chaw.
Jukebox siv autoregressive transformers los tsim cov zis suab. Transformers yog hom neural network uas ua haujlwm zoo tshaj plaws nrog cov ntaub ntawv sib txuas. Muab ib ntu ntawm tokens, tus qauv transformer yuav sim kwv yees tus token tom ntej.
Jukebox siv qhov hloov pauv yooj yim ntawm Sparse Transformers. Thaum tag nrho cov qauv ua ntej tau kawm, lub transformer generates compressed codes uas yog ces decoded rov qab mus rau hauv cov ntaub ntawv raw siv lub VQ-VAE decoder.
Artist thiab Genre Conditioning hauv Jukebox
Jukebox's generative qauv yog ua kom tswj tau ntau dua los ntawm kev muab cov cim qhia ntxiv thaum lub sij hawm kev cob qhia.
Thawj cov qauv yog muab los ntawm cov kws ua yeeb yam thiab cov ntawv sau rau txhua zaj nkauj. Qhov no txo qhov entropy ntawm lub suab kwv yees thiab tso cai rau tus qauv kom ua tiav qhov zoo dua. Cov ntawv sau kuj pab kom peb tswj tus qauv hauv ib qho style.
Dhau li ntawm tus kws kos duab thiab ib hom ntawv, lub sijhawm teeb tsa tau ntxiv thaum lub sijhawm kawm. Cov cim no suav nrog qhov ntev ntawm zaj nkauj, lub sijhawm pib ntawm ib qho qauv, thiab feem ntawm cov nkauj uas tau dhau mus. Cov ntaub ntawv ntxiv no pab tus qauv nkag siab cov qauv suab uas tso siab rau tag nrho cov qauv.
Piv txwv li, tus qauv yuav kawm tau hais tias lub suab seev suab paj nruag tshwm sim thaum kawg ntawm ib zaj nkauj. Tus qauv kuj tuaj yeem kawm, piv txwv li, tias qee hom muaj cov ntu ntev dua li lwm tus.
Lyrics
Cov qauv uas tau hais tseg hauv ntu dhau los no muaj peev xwm tsim tau ntau yam kev hu nkauj. Txawm li cas los xij, cov suab no zoo li tsis sib xws thiab tsis paub.
Txhawm rau tswj hwm tus qauv tsim tawm thaum nws los txog rau tiam lyric, cov kws tshawb fawb muab cov ntsiab lus ntau ntxiv ntawm lub sijhawm kawm. Txhawm rau pab qhia cov ntaub ntawv lyric rau lub sijhawm ntawm lub suab tiag, cov kws tshawb fawb tau siv Yooj los rho tawm suab thiab NUS AutoLyricsAlign kom tau txais cov lus-qib kev sib raug zoo ntawm cov nkauj.
Kev txwv ntawm Jukebox Model
Ib qho ntawm cov kev txwv tseem ceeb ntawm Jukebox yog nws txoj kev nkag siab ntawm cov suab paj nruag loj dua. Piv txwv li, luv luv 20-thib ob ntawm qhov tso zis yuav ua rau lub suab zoo, tab sis cov neeg mloog yuav pom tias cov suab paj nruag zoo ib yam ntawm kev rov ua dua choruses thiab verses tsis nyob rau hauv qhov kawg tso zis.
Tus qauv kuj qeeb rau render. Nws yuav siv sijhawm li 9 teev los ua kom tiav ib feeb ntawm lub suab. Qhov no txwv tus naj npawb ntawm cov nkauj uas tuaj yeem tsim tawm thiab tiv thaiv tus qauv los ntawm kev siv hauv kev sib tham sib tham.
Thaum kawg, cov kws tshawb fawb tau sau tseg tias cov qauv dataset feem ntau yog lus Askiv thiab nthuav qhia feem ntau Western suab paj nruag cov rooj sib tham. Cov kws tshawb fawb AI tuaj yeem tsom mus rau kev tshawb fawb yav tom ntej ntawm kev tsim suab paj nruag hauv lwm hom lus thiab cov suab paj nruag tsis yog sab hnub poob.
xaus
Qhov project Jukebox qhia txog qhov muaj peev xwm loj hlob ntawm cov qauv kev kawm tshuab los tsim qhov tseeb latent sawv cev ntawm cov ntaub ntawv nyuaj xws li cov suab nrov. Cov kev sib tw zoo sib xws tau tshwm sim hauv cov ntawv nyeem, raws li pom hauv cov haujlwm zoo li GPT-3, thiab cov duab, raws li pom hauv OpenAI's DALL-E2.
Txawm hais tias kev tshawb fawb hauv qhov chaw no tau ua tau zoo, tseem muaj kev txhawj xeeb txog cov cai ntawm kev txawj ntse thiab qhov cuam tshuam cov qauv no yuav muaj rau kev lag luam muaj tswv yim tag nrho. Cov kws tshawb fawb thiab cov tswv yim yuav tsum tau sib koom tes txuas ntxiv kom ntseeg tau tias cov qauv no tuaj yeem txhim kho txuas ntxiv mus.
Cov qauv suab paj nruag yav tom ntej yuav sai sai no tuaj yeem ua lub cuab yeej rau cov kws ntaus suab paj nruag lossis ua daim ntawv thov rau cov tswv yim uas xav tau cov suab paj nruag kev cai rau cov haujlwm.
Sau ntawv cia Ncua