A na u ka sebelisa AI ho theha rekoto e ncha ho tsoa ho sebini seo u se ratang?
Liphetoho tsa morao-rao thutong ea mochini li bonts'itse hore mefuta e se e khona ho utloisisa lintlha tse rarahaneng joalo ka mongolo le litšoantšo. OpenAI's Jukebox e paka hore le 'mino o ka etsoa hantle ke marang-rang a neural.
'Mino ke ntho e rarahaneng ho etsa mohlala. U tlameha ho ela hloko likarolo tse peli tse bonolo tse kang tempo, lerata le molumo oa lentsoe le likarolo tse rarahaneng tse kang mantsoe, liletsa le sebopeho sa 'mino.
Ho sebelisa e tsoetseng pele ho ithuta mochine mekhoa, OpenAI e fumane mokhoa oa ho fetolela molumo o tala hore e be setšoantšo seo mefuta e meng e ka e sebelisang.
Sengoliloeng sena se tla hlalosa seo Jukebox e ka se etsang, hore na e sebetsa joang, le mefokolo ea hajoale ea theknoloji.
Jukebox AI ke eng?
Jukebox ke neural net model ka OpenAI e ka hlahisang 'mino ka ho bina. Mohlala o ka hlahisa 'mino ka mefuta e sa tšoaneng ea mefuta le mekhoa ea litsebi.
Ka mohlala, Jukebox e ka hlahisa pina ea rock ka mokhoa oa Elvis Presley kapa pina ea hip hop ka mokhoa oa Kanye West. U ka etela sena websaeteng ho hlahloba hore na mohlala ona o sebetsa hakae ho hapa molumo oa litaki le mefuta ea hau ea 'mino eo u e ratang.
Mohlala o hloka mofuta, sebini le mantsoe e le kenyelletso. Kenyelletso ena e tataisa mofuta o koetliselitsoeng libini tse limilione le lintlha tsa mantsoe.
Jukebox e sebetsa joang?
Ha re shebeng hore na Jukebox e khona joang ho hlahisa molumo o mocha o tsoang mofuteng o koetlisitsoeng ka lipina tse limilione.
Mokhoa oa ho Encoding
Le ha mefuta e meng ea tlhahiso ea 'mino e sebelisa data ea koetliso ea MIDI, Jukebox e koetlisetsoa faeleng ea' nete ea audio e tala. Ho hatella molumo sebakeng sa discrete, Jukebox e sebelisa mokhoa oa auto-encoder o tsejoang ka hore ke VQ-VAE.
VQ-VAE e emetse Vector Quantized Variational Autoencoder, e kanna ea utloahala e rarahane, ka hona, a re e hlakoleng.
Pele, a re lekeng ho utloisisa seo re batlang ho se etsa mona. Ha ho bapisoa le mantsoe kapa 'mino oa maqephe, faele ea audio e tala e rarahane haholo. Haeba re batla hore mohlala oa rona o "ithute" lipina, re tla tlameha ho o fetola hore e be boemeli bo thata le bo bonolo. Ho ho ithuta mochine, re bitsa boemeli bona ba motheo a sebaka se patehileng.
An autoencode ke mokhoa oa ho ithuta o sa laoleheng o sebelisang a neural network ho fumana liemeli tse patehileng tseo e seng tsa mela bakeng sa kabo ea data e fanoeng. Autoencoder e na le likarolo tse peli: encoder le decoder.
The encoder leka ho fumana sebaka se ipatileng ho tloha sete ya data e tala ha a ntse a decoder e sebelisa kemelo e ipatileng ho leka ho e hlophisa bocha hore e be sebopehong sa eona sa pele. Autoencoder ha e le hantle e ithuta ho hatella data e tala ka tsela e fokotsang phoso ea kaho bocha.
Kaha joale re se re tseba seo autoencoder e se etsang, ha re lekeng ho utloisisa seo re se bolelang ka "variational" autoencoder. Ha ho bapisoa le li-autoencoder tse tloaelehileng, li-autoencoder tse fapaneng li eketsa pele ho sebaka se patehileng.
Ntle le ho ikakhela ka setotsoana ho lipalo, ho eketsa monyetla oa pele ho boloka kabo e patehileng e kopane hantle. Phapang e kholo lipakeng tsa VAE le VQ-VAE ke hore ea morao-rao e sebelisa boemeli bo patehileng ba discrete ho fapana le e tsoelang pele.
Boemo bo bong le bo bong ba VQ-VAE bo kenya letsoho ka bohona. Khouto ea boemo bo tlase e hlahisa kaho ea boleng bo holimo. Khouto ea boemo bo holimo e boloka lintlha tsa bohlokoa tsa mmino.
Ho sebelisa Transformers
Kaha joale re na le likhoutu tsa 'mino tse kentsoeng ke VQ-VAE, re ka leka ho hlahisa mmino sebakeng sena se hatelitsoeng sa discrete.
Jukebox e sebelisoa li-transformer tsa autoregressive ho theha molumo oa molumo. Li-transformer ke mofuta oa marang-rang a neural a sebetsang hantle ka ho fetisisa ka tatellano ea data. Ho fanoe ka tatellano ea li-tokens, mohlala oa transformer o tla leka ho bolela esale pele letšoao le latelang.
Jukebox e sebelisa mofuta o nolofalitsoeng oa Sparse Transformers. Hang ha mefuta eohle ea pele e koetlisitsoe, transformer e hlahisa likhoutu tse hatelitsoeng tse ntan'o khutlisetsoa morao hore e be molumo o tala o sebelisa VQ-VAE decoder.
Setaki le mofuta oa Conditioning ho Jukebox
Moetso oa tlhahiso ea Jukebox o etsoa hore o laolehe haholoanyane ka ho fana ka matšoao a mang a maemo nakong ea mohato oa koetliso.
Mefuta ea pele e fanoa ke baetsi ba litšoantšo le li-label tsa mofuta bakeng sa pina ka 'ngoe. Sena se fokotsa entropy ea ponelopele ea molumo mme se lumella mohlala ho fihlela boleng bo holimo. Li-labels li boetse li re thusa ho tsamaisa mohlala ka mokhoa o itseng.
Ntle le sebini le mofuta, matšoao a nako a eketsoa nakong ea koetliso. Matšoao ana a kenyelletsa bolelele ba pina, nako ea ho qala ha sampuli e itseng, le karoloana ea pina e seng e fetile. Tlhahisoleseding ena e eketsehileng e thusa mohlala ho utloisisa mekhoa ea molumo e itšetlehileng ka sebopeho se akaretsang.
Ka mohlala, mohlala o ka ithuta hore litlatse tsa 'mino o hlabollang li etsahala qetellong ea pina. Mohlala o ka boela oa ithuta, mohlala, hore mefuta e meng e na le likarolo tse telele tsa liletsa ho feta tse ling.
Lyrics
Mefuta e hlophisitsoeng e boletsoeng karolong e fetileng e khona ho hlahisa mefuta e fapaneng ea mantsoe a bina. Leha ho le joalo, mantsoe ana a atisa ho ba a sa utloahaleng le a sa lemoheng.
Ho laola mohlala oa tlhahiso ha ho tluoa tabeng ea ho hlahisa li-lyric, bafuputsi ba fana ka moelelo o eketsehileng nakong ea koetliso. Ho thusa 'mapa oa data ea mantsoe ho latela nako ea molumo oa nnete, bafuputsi ba e sebelisitse Sekhahla ho ntsha mantsoe le NUS AutoLyricsAlign ho fumana teka-tekano ea mantsoe a mantsoe.
Mefokolo ea Mohlala oa Jukebox
E 'ngoe ea mefokolo ea mantlha ea Jukebox ke kutloisiso ea eona ea libopeho tse kholo tsa' mino. Ka mohlala, sekotwana se sekhutšoane sa metsotsoana e 20 sa sephetho se ka utloahala se khahla, empa bamameli ba tla hlokomela hore sebopeho se tloaelehileng sa 'mino oa ho pheta-pheta lipina le litemana ha se teng sephethong sa ho qetela.
Mohlala o boetse o lieha ho fana. Ho nka lihora tse ka bang 9 ho fana ka motsotso o le mong oa molumo. Sena se fokotsa palo ea lipina tse ka hlahisoang mme se thibela mohlala ho sebelisoa lits'ebetsong tse kopanetsoeng.
Qetellong, bafuputsi ba hlokometse hore mohlala oa dataset o ka Senyesemane 'me o bonts'a likopano tsa' mino oa Bophirimela. Bafuputsi ba AI ba ka tsepamisa maikutlo lipatlisisong tsa nako e tlang mabapi le ho hlahisa 'mino ka lipuo tse ling le mekhoa ea' mino eo e seng ea Bophirimela.
fihlela qeto e
Morero oa Jukebox o totobatsa bokhoni bo ntseng bo hola ba mefuta ea ho ithuta ea mochini ho theha boemeli bo nepahetseng bo patiloeng ba data e rarahaneng joalo ka molumo o tala. Ts'ebetso e ts'oanang e etsahala temaneng, joalo ka ha e bonoa mererong e kang GPT-3, le litšoantšo, joalo ka ha li bonoa ho OpenAI's DALL-E2.
Le hoja lipatlisiso sebakeng sena e bile tse tsotehang, ho ntse ho e-na le matšoenyeho mabapi le litokelo tsa thepa ea mahlale le tšusumetso e ka bang le mefuta ena liindastering tsa boiqapelo ka kakaretso. Bafuputsi le baqapi ba lokela ho tsoelapele ho sebelisana haufi-ufi ho netefatsa hore mefuta ena e ka tsoela pele ho ntlafala.
Mehlala ea 'mino ea nakong e tlang e ka khona ho sebetsa e le sesebelisoa sa libini kapa e le sesebelisoa sa baqapi ba hlokang 'mino o tloaelehileng bakeng sa merero.
Leave a Reply