Google анансавала MusicLM, штучны інтэлект, які стварае музыку са слоў, якія вы ўводзіце, напрыклад DALL-E 2. Гэта моўная мадэль, створаная Google Research. Акрамя таго, яны распрацавалі яго выключна для стварэння музыкі.
І ён быў навучаны на вялізным наборы музычных файлаў і можа ствараць музыку ў розных стылях і формах. Калі вы зацікаўлены ў музыцы; тады вам варта праверыць, што прапануе MusicLM.
З MusicLM вы ствараеце музыку ў некаторых тэхніках і формах. Напрыклад, вы можаце ствараць п'есы для фартэпіяна, барабаны і мелодыі для тэкстаў.
Акрамя таго, вы можаце дакладна наладзіць пэўныя стылі або ўключыць увод, прадастаўлены карыстальнікам. Ён прызначаны для стварэння музыкі, якая з'яўляецца гарманічна і рытмічна згуртаванай. Такім чынам, давайце паглыбімся і паглядзім, што такое MusicLM.
Папярэднія спробы
MusicLM - не першая музычная сістэма, створаная штучным інтэлектам. Riffusion, Dance Diffusion, AudioML ад Google і OpenAI Jukebox з'яўляюцца прыкладамі супастаўных падыходаў. Аднак гэтыя папярэднія сістэмы былі абмежаваныя тэхналагічнымі абмежаваннямі.
Акрамя таго, адсутнасць у іх навучальных дадзеных ускладняла складанне высакаякасных мелодый. Аднак MusicLM мае магчымасць ствараць музыку з большым узроўнем вытанчанасці і рэалізму.
Агляд MusicLM
MusicLM вывучае структуру і стыль музыкі. Такім чынам, ён навучаецца на шырокім наборы дадзеных MIDI і сімвалічных музычных файлаў. Як і падобныя праграмы, MusicLM пабудаваны на архітэктуры Transformer.
Выкарыстоўваючы метады самаканцэнтрацыі, каб засяродзіцца на пэўных ўваходных кампанентах, трансфарматарная архітэктура MusicLM выкарыстоўваецца для вылучэння структуры і стылю музыкі з вялікага набору даных. У выніку можна стварыць гарманічна і рытмічна згуртаваную музыку.
І гэтая музыка можа імітаваць арганізацыю ўводу карыстальніка. Такім чынам, вы зможаце атрымаць музычны вынік, які вы спецыяльна апісваеце ў праграме.
Поспех папярэдняга моўныя мадэлі, такія як GPT-2 і GPT-3, якія даказалі сваю здольнасць ствараць звязнае і беглае пісьмо, натхнілі MusicLM. MusicLM, з іншага боку, з'яўляецца першай моўнай мадэллю, створанай выключна для музычнага пакалення.
І мы думаем, што гэта будзе лічыцца адной з самых складаных мадэляў.
Як гэта працуе?
DALL-E 2 і Google MusicLM штучны інтэлект маюць шмат структурнага падабенства. Аднак на гэты раз вашы творы перададзены ў музычнай форме, а не візуальна. У гэты момант вы можаце альбо цалкам пабудаваць цэлы кавалак. Акрамя таго, вы можаце стварыць рытм, выкарыстоўваючы толькі адзін інструмент.
Вы можаце прагледзець некалькі ўзораў даследаванняў, створаных камандай Google AI, на старонцы MusicLM у Github. Нягледзячы на тое, што штучны інтэлект усё яшчэ знаходзіцца на стадыі даследаванняў і распрацовак, гукі, якія ён можа выдаваць, маюць высокую раздзяляльнасць. Таксама былі прапановы, такія як інтэграцыя гэтага штучнага інтэлекту з ChatGPT. Гэтая інтэграцыя можа прывесці да больш складанай і творчай музыкі.
Ад напявання да шлягераў
MusicLM аб'ядноўвае чатыры розныя мадэлі AI: MuLan, AudioLM, w2v-BERT і Soundstream. Хоць кожная з гэтых мадэляў валодае наборам адметных магчымасцяў. Аднак, калі яны былі інтэграваныя, яны прывялі да MusicLM!
Музыкі і прафесіяналы індустрыі звярнулі ўвагу на здольнасць MusicLM ператвараць нават самыя элементарныя гудкі і мармытанні ў цэлыя мелодыі. У спалучэнні з ChatGPT ён можа ствараць унікальную музыку.
Вы можаце слухаць і даследаваць музыку і гукі, створаныя MusicLM сайт. Але майце на ўвазе, што зараз ён знаходзіцца ў стадыі тэставання. Відавочна, што MusicLM мае магчымасць цалкам змяніць музычны бізнес па меры развіцця тэхналогій.
Музыка, створаная штучным інтэлектам, з чалавечымі нюансамі
Каб ствараць песні, якія маюць сэнс на аснове падрабязных апісанняў, MusicLM навучаўся на вялікім наборы дадзеных з 280,000 XNUMX гадзін музыкі. Напрыклад, вы можаце стварыць «меладычную дабстэп-мелодыю з глыбокім басам і складанымі рытмамі барабанаў». Ці вы можаце папрасіць яго, каб стварыць «прывабную поп-песню з захапляльным гітарным рыфам і моцным вакалістам». Ваша фантазія ў гэтым выпадку - мяжа.
Створаныя песні нагадваюць песні, напісаныя людзьмі-музыкамі. Узоры MusicLM надзвычай уражваюць. Гэта праўда, асабліва з улікам таго, што ў працэсе кампазіцыі не ўдзельнічае чалавек. MusicLM можа паўтараць такія нюансы, як музычныя рыфы, мелодыі і эмоцыі. Акрамя таго, ён працуе, нават калі яму дадзены складаныя і дакладныя характарыстыкі.
Важныя функцыі
Карціна Conditioning Caption
Карціна Conditioning Caption - гэта функцыя MusicLM. Вы можаце ствараць музыку на аснове тэкставага апісання або «подпісы» да карціны. Гэта значыць, што MusicLM здольны ствараць музыку, якая адлюстроўвае эмоцыі, настрой і ідэі, выражаныя ў карціне. Гэтая магчымасць вельмі карысная для стварэння музыкі для фільмаў, відэагульні, і ўсе віды візуальных сродкаў масавай інфармацыі.
рэжым Story
Функцыя Story Mode прымае ў якасці ўводу тэкст гісторыі. Такім чынам, ён стварае спадарожную фонавую музыку. Карыстальнікі могуць выкарыстоўваць гэтую функцыю, каб стварыць саўндтрэк для казкі, відэагульні або фільма, адлюстроўваючы сцэнар або эмацыйны тон.
Рэжым гісторыі - гэта зручны інструмент для медыя-артыстаў. Такім чынам, ён можа стварыць шырокі спектр музычных стыляў і інструментаў. Рэжым Tale ад MusicLM павялічвае эмацыянальнае ўздзеянне сцэны. Такім чынам, гледачы могуць атрымаць дадатковую ступень апускання ў гісторыю.
Узровень вопыту музыканта
Вы можаце наладзіць складанасць створанай музыкі. Карыстальнікі могуць выбіраць паміж трыма ўзроўнямі ў залежнасці ад узроўню сваіх навыкаў. Акрамя таго, яны могуць вызначыць пераважную ступень складанасці: пачатковы, сярэдні або прасунуты.
Гэтая функцыя дапаможа вам, калі ў вас ёсць невялікі музычны вопыт і вы хочаце паэксперыментаваць з новымі кампазіцыямі. Аднак, калі вы дасведчаны музыкант, вы можаце ствараць складаную і тонкую музыку. Мэта MusicLM з дапамогай гэтай функцыі - забяспечыць даступны вопыт для ўсіх карыстальнікаў.
Разнастайнасць пакаленняў
З дапамогай функцыі Generation Diversity вы можаце ствараць мноства версій песні з аднаго і таго ж уводу. І вы можаце мець разнастайны дыяпазон выхадаў. Гэта азначае, што штучны інтэлект можа стварыць некалькі версій песні.
Акрамя таго, ёсць альтэрнатыўныя мелодыі або прагрэсіі акордаў, захоўваючы пры гэтым асноўны стыль і структуру песні. Гэтая функцыя дапамагае штучнаму інтэлекту ствараць музыку больш творча. Такім чынам, гэта робіць стварэнне музыкі больш аналагічным напісанню песень чалавекам.
Магчымыя абмежаванні MusicLM
Google яшчэ не зрабіў MusicLM даступным для шырокай грамадскасці, паколькі ён усё яшчэ знаходзіцца ў распрацоўцы. Такім чынам, вы пакуль не можаце даць пэўныя ўзоры той музыкі, якую можа ствараць MusicLM. Акрамя таго, пакуль невядома, якія абмежаванні можа мець MusicLM.
Паколькі тэхналогія ўсё яшчэ знаходзіцца на ранняй стадыі, яна можа мець пэўныя абмежаванні на калібр музыкі, якая ствараецца, або яе здольнасць апрацоўваць пэўныя ўваходныя сігналы.
Адным з асноўных недахопаў з'яўляецца скажоная якасць вырабленых узораў. Гэта неабходны пабочны прадукт працэдуры навучання, якая выкарыстоўваецца для распрацоўкі MusicLM.
Яшчэ адным недахопам з'яўляецца тое, што, нягледзячы на тэхнічную магчымасць MusicLM вырабляць вакал. Сюды ўваходзяць і харавыя песні. «Тэксты песень», створаныя MusicLM, часам здаюцца тарабаршчынай. Акрамя таго, іх бывае цяжка зразумець. Аднак MusicLM усё яшчэ знаходзіцца ў распрацоўцы, і гэтыя праблемы можна палепшыць.
Заключныя заўвагі
Нарэшце, мы лічым, што тэхналогія, якая ляжыць у аснове Google MusicLM, цікавая і захапляльная. Дзіўна, што штучны інтэлект можа ствараць музыку ў розных стылях з больш высокім узроўнем рэалізму. MusicLM можа змяніць музычны бізнес. І мы рады назіраць, як развіваецца гэтая тэхналогія.
Пакінуць каментар