Ị nwere ike iji AI mepụta ndekọ ọhụrụ site na onye na-ese ihe kachasị amasị gị?
Ọganihu na-adịbeghị anya na mmụta igwe egosila na ụdị nwere ike ịghọta data mgbagwoju anya dị ka ederede na onyonyo. OpenAI's Jukebox na-egosi na ọbụna egwu nwere ike ịṅomi nke ọma site na netwọk akwara.
Egwu bụ ihe dị mgbagwoju anya iji ṅomie. Ị ga-eburu n'uche ma atụmatụ dị mfe dị ka tempo, ụda olu, na pitch yana njiri dị mgbagwoju anya dịka egwu egwu, ngwa na usoro egwu.
Iji elu ngwa igwe usoro, OpenAI achọpụtala ụzọ iji tọghata raw audio ka ọ bụrụ ihe nnọchianya nke ndị ọzọ ụdị nwere ike iji.
Edemede a ga-akọwa ihe Jukebox nwere ike ime, ka o si arụ ọrụ, yana oke nke teknụzụ ugbu a.
Kedu ihe bụ Jukebox AI?
Jukebox bụ ihe neural net nlereanya nke OpenAI nwere ike iwepụta egwu na ịbụ abụ. Ihe nlereanya ahụ nwere ike ịmepụta egwu dị iche iche na ụdị ndị na-ese ihe.
Dịka ọmụmaatụ, Jukebox nwere ike ịmepụta egwu nkume n'ụdị Elvis Presley ma ọ bụ ụda hip hop n'ụdị Kanye West. Ị nwere ike ịga na nke a website iji chọpụta otú ihe nlereanya ahụ si dị irè n'iweta ụda nke ndị na-ese egwu na ụdị egwu kachasị amasị gị.
Ihe nlereanya a chọrọ ụdị, nka na egwu dị ka ntinye. Ntinye a na-eduzi ụdị a zụrụ na nde ndị nka na data egwu.
Kedu ka Jukebox si arụ ọrụ?
Ka anyị leba anya ka Jukebox siri chịkwaa iwepụta ọdịyo nkịtị sitere na ụdị a zụrụ n'ọtụtụ nde egwu.
Usoro ntinye koodu
Ọ bụ ezie na ụfọdụ ụdị ọgbọ egwu na-eji data ọzụzụ MIDI, a zụrụ Jukebox na faịlụ ọdịyo nkịtị. Iji mpikota onu ọdịyo ka ọ bụrụ oghere pụrụ iche, Jukebox na-eji ụzọ ntinye koodu akpaaka mara dị ka VQ-VAE.
VQ-VAE na-anọchi anya Vector Quantized Variational Autoencoder, nke nwere ike ịdị ntakịrị mgbagwoju anya, yabụ ka anyị gbarie ya.
Nke mbụ, ka anyị gbalịa ịghọta ihe anyị chọrọ ime ebe a. Tụnyere egwu egwu ma ọ bụ egwu mpempe akwụkwọ, faịlụ ọdịyo raw dị mgbagwoju anya karịa. Ọ bụrụ na anyị chọrọ ka ihe nlereanya anyị "mụta" site na egwu, anyị ga-agbanwe ya ka ọ bụrụ ihe nnọchianya na-agbakọ ma dị mfe karị. N'ime ngwa igwe, anyị na-akpọ ihe nnọchianya a oghere latent.
An autoencode bụ usoro mmụta anaghị elekọta nke na-eji a neural network ịchọta ihe nnochite anya na-abụghị nke ahịrị maka nkesa data enyere. The autoencoder nwere akụkụ abụọ: ihe ngbanwe na decoder.
The encoder na-agbalị ịchọta oghere zoro ezo site na nchịkọta data raw mgbe ọ na- Decoder na-eji ihe nnochi anya nzuzo na-agbalị imegharị ya azụ ka ọ bụrụ usoro izizi ya. The autoencoder na-amụta n'ezie ka esi mpikota nke raw data n'ụzọ na-ebelata mperi nrụgharị.
Ugbu a anyị matara ihe autoencoder na-eme, ka anyị nwaa ịghọta ihe anyị na-ekwu site na “variational” autoencoder. Tụnyere ndị na-ahụ maka autoencoders, variational autoencoders na-agbakwunye tupu oghere oghere.
Na-abanyeghị n'ime mgbakọ na mwepụ, ịgbakwụnye ihe ga-ekwe omume tupu nkesa na-eme ka nkesa latent na-akpachi anya. Isi ihe dị iche n'etiti VAE na VQ-VAE bụ na nke ikpeazụ na-eji nnochi anya latent dị iche karịa nke na-aga n'ihu.
Ọkwa VQ-VAE ọ bụla na-etinye koodu ntinye n'onwe ya. Ndokwa ọkwa dị ala na-arụpụta nwughari kachasị elu. Ndokwa ọkwa dị elu na-ejigide ozi egwu dị mkpa.
Iji Transformers
Ugbu a anyị nwere koodu egwu nke VQ-VAE kpuchiri, anyị nwere ike ịgbalị ime ya mepụta egwu na nke a abịakọrọ discrete ohere.
Jukebox na-eji autoregressive transformers ka ịmepụta ọdịyo mmepụta. Ndị ntụgharị bụ ụdị netwọkụ akwara na-arụ ọrụ kacha mma na data usoro. N'inye usoro nke token, ihe atụ nke mgbanwe ga-agbalị ịkọ akara na-esote.
Jukebox na-eji ụdị mgbanwe dị mfe nke Sparse Transformers. Ozugbo a zụrụ ụdị mbụ niile, onye na-atụgharị ihe na-emepụta koodu abịakọrọ nke na-emezigharị ya ka ọ bụrụ ọdịyo raw site na iji VQ-VAE decoder.
Artist na Genre Conditioning na Jukebox
A na-eme ka ụdị nrụpụta nke Jukebox bụrụ nke a na-achịkwa nke ọma site n'inye akara ọnọdụ agbakwunyere n'oge usoro ọzụzụ ahụ.
Ndị na-ese ihe na akara ụdị maka egwu ọ bụla na-enye ụdị nke mbụ. Nke a na-ebelata entropy nke amụma ọdịyo ma na-enye ohere ka ihe nlereanya ahụ nweta mma mma. Akara akara ahụ na-enyekwara anyị aka iduzi ihe nlereanya n'ụdị ọ bụla.
E wezụga onye na-ese ihe na ụdị, a na-agbakwunye akara oge n'oge ọzụzụ. Ihe mgbaàmà ndị a na-agụnye ogologo nke egwu ahụ, oge mmalite nke otu ihe atụ, na akụkụ dị nta nke egwu ahụ gafere. Ozi mgbakwunye a na-enyere ihe nlereanya ahụ aka ịghọta usoro ọdịyo na-adabere na nhazi zuru ezu.
Dịka ọmụmaatụ, ihe nlereanya ahụ nwere ike ịmụta na ịkụ aka maka egwu egwu na-eme na njedebe nke egwu. Ihe nlereanya ahụ nwekwara ike ịmụta, dịka ọmụmaatụ, na ụfọdụ ụdị nwere akụkụ ngwá ọrụ dị ogologo karịa ndị ọzọ.
lyrics
Ụdị ọnọdụ ahụ a kpọtụrụ aha na ngalaba gara aga nwere ike ịmepụta ụda olu dị iche iche. Otú ọ dị, olu ndị a na-abụkarị ndị na-adịghị agbanwe agbanwe na nke a na-apụghị ịmata.
Iji chịkwaa ụdị mkpụrụ ndụ ihe mgbe ọ na-abịa n'ọgbọ abụ, ndị na-eme nchọpụta na-enyekwu ọnọdụ n'oge ọzụzụ. Iji nyere aka mapụta data egwu egwu n'oge dị na ọdịyo ahụ, ndị nyocha jiri Spleta wepụ olu na NUS AutoLyrics dakọtara iji nweta nhazi ọkwa okwu nke egwu egwu.
Oke nke Jukebox Model
Otu n'ime oke oke nke Jukebox bụ nghọta ya maka usoro egwu buru ibu. Dịka ọmụmaatụ, mkpirisi mkpirisi nke nkeji iri abụọ nke mmepụta ahụ nwere ike ịmasị mma, mana ndị na-ege ntị ga-achọpụta na usoro egwu a na-ahụkarị nke ikwugharị choruses na amaokwu adịghị na mmepụta ikpeazụ.
Ihe nlereanya ahụ dịkwa ngwa ime. Ọ na-ewe ihe dị ka awa 9 iji nye otu nkeji nke ọdịyo zuru oke. Nke a na-egbochi ọnụ ọgụgụ nke egwu enwere ike ịmepụta ma gbochie iji ihe nlereanya ahụ na ngwa mmekọrịta.
N'ikpeazụ, ndị nyocha ahụ achọpụtala na ihe nlele dataset bụ isi n'asụsụ Bekee ma gosipụta isi mgbakọ egwu ọdịda anyanwụ. Ndị na-eme nchọpụta AI nwere ike ilekwasị anya nyocha n'ọdịnihu na ịmepụta egwu n'asụsụ ndị ọzọ na ụdị egwu ndị na-abụghị nke ọdịda anyanwụ.
mmechi
Ọrụ Jukebox na-egosipụta ike na-eto eto nke ụdị mmụta igwe iji mepụta ezigbo ihe nnochite anya data dị mgbagwoju anya dị ka ọdịyo raw. Ọganihu ndị yiri ya na-eme na ederede, dị ka a na-ahụ na ọrụ ndị dị ka GPT-3, na onyonyo, dị ka a hụrụ na OpenAI's DALL-E2.
Ọ bụ ezie na nyocha dị na oghere a dị egwu, a ka nwere nchegbu gbasara ikike ikike ọgụgụ isi na mmetụta ụdị ndị a nwere ike inwe na ụlọ ọrụ mmepụta ihe n'ozuzu ya. Ndị na-eme nchọpụta na ndị na-emepụta ihe kwesịrị ịnọgide na-emekọ ihe ọnụ iji hụ na ụdị ndị a nwere ike ịga n'ihu na-emeziwanye.
Ụdị egwu ndị na-emepụta ihe n'ọdịnihu nwere ike nwee ike ịrụ ọrụ dị ka ngwá ọrụ maka ndị na-egwu egwu ma ọ bụ dị ka ngwa maka ndị na-emepụta ihe ndị chọrọ egwu omenala maka ọrụ.
Nkume a-aza