Google анонсировала MusicLM, искусственный интеллект, который создает музыку из слов, которые вы вводите, например DALL-E 2. Это языковая модель, созданная Google Research. Кроме того, они разработали его исключительно для создания музыки.
И он был обучен на обширном наборе данных музыкальных файлов и может создавать музыку в различных стилях и формах. Если вы интересуетесь музыкой; тогда вам следует проверить, что предложит MusicLM.
С MusicLM вы создаете музыку в некоторых техниках и формах. Например, вы можете создавать пьесы для фортепиано, ударные и мелодии для текстов песен.
Кроме того, вы можете точно настроить определенные стили или включить пользовательский ввод. Он предназначен для создания гармоничной и ритмически связной музыки. Итак, давайте погрузимся и посмотрим, что такое MusicLM.
Предыдущие попытки
MusicLM — не первая музыкальная система, созданная искусственным интеллектом. Riffusion, Dance Diffusion, AudioML от Google и OpenAI проигрыватель-автомат являются примерами сопоставимых подходов. Однако эти предшествующие системы были ограничены технологическими ограничениями.
Кроме того, отсутствие у них тренировочных данных затрудняло сочинение высококачественных мелодий. Тем не менее, MusicLM может создавать музыку с более высоким уровнем сложности и реализма.
Обзор MusicLM
MusicLM изучает структуру и стиль музыки. Следовательно, он обучается на обширном наборе данных MIDI и символических музыкальных файлов. Как и аналогичные программы, MusicLM построен на архитектуре Transformer.
Используя методы внутреннего внимания для концентрации на определенных входных компонентах, архитектура преобразования MusicLM используется для извлечения структуры и стиля музыки из большого набора данных. В результате вы можете создавать гармонично и ритмически связную музыку.
И эта музыка может имитировать организацию пользовательского ввода. Следовательно, вы сможете получить тот музыкальный результат, который вы специально описываете для программы.
Успех предыдущего языковые модели, такие как GPT-2 и GPT-3, которые доказали свою способность создавать связное и плавное письмо, вдохновили MusicLM. MusicLM, с другой стороны, является первой языковой моделью, созданной исключительно для музыкального поколения.
И мы думаем, что она будет считаться одной из самых сложных моделей.
Как это работает?
DALL-E 2 и MusicLM от Google искусственный интеллект имеют много структурного сходства. На этот раз, однако, ваше письмо передается музыкально, а не визуально. На этом этапе вы можете либо полностью построить целое произведение. Кроме того, вы можете создавать ритм, используя только один инструмент.
Вы можете просмотреть несколько примеров исследований, созданных командой Google AI, на странице MusicLM в Github. Несмотря на то, что ИИ все еще находится на стадии исследований и разработок, звуки, которые он может издавать, имеют высокое разрешение. Также были предложения, например, интегрировать этот ИИ с ChatGPT. Эта интеграция может привести к более сложной и творческой музыке.
От напевания до хитовых мелодий
MusicLM объединяет четыре различные модели ИИ: MuLan, AudioLM, w2v-BERT и Soundstream. Хотя каждая из этих моделей имеет набор отличительных возможностей. Однако, когда они были интегрированы, они привели к MusicLM!
Музыканты и профессионалы индустрии обратили внимание на способность MusicLM превращать даже самые простые звуки и бормотание в целые мелодии. В сочетании с ChatGPT он может создавать уникальную музыку.
Вы можете слушать и изучать музыку и звуки, созданные MusicLM, на его веб-сайт. Но имейте в виду, что в настоящее время он находится на стадии тестирования. Очевидно, что MusicLM может полностью изменить музыкальный бизнес по мере развития технологий.
Созданная искусственным интеллектом музыка с человеческими нюансами
Чтобы создавать песни, которые имеют смысл на основе подробных описаний, MusicLM был обучен на большом наборе данных из 280,000 XNUMX часов музыки. Например, вы можете создать «мелодичную мелодию в стиле дабстеп с глубоким басом и сложными барабанными ритмами». Или вы можете попросить его создать «заманчивую поп-песню с захватывающим гитарным риффом и сильным вокалистом». Ваша фантазия в данном случае является пределом.
Произведенные песни напоминают песни, сочиненные людьми-музыкантами. Образцы MusicLM чрезвычайно поразительны. Это верно, особенно если учесть, что в процессе композиции не участвует человек. MusicLM может повторять нюансы, такие как музыкальные риффы, мелодии и эмоции. Кроме того, он работает даже при наличии сложных и явных спецификаций.
Важные особенности
Подпись к рисунку Кондиционирование
Оформление титров — это функция MusicLM. Вы можете создавать музыку на основе текстового описания или «подписи» к картине. Это означает, что MusicLM способен создавать музыку, отражающую эмоции, настроения и идеи, выраженные в изображении. Эта возможность очень полезна для создания музыки к фильмам, видеоигры, и все виды визуальных носителей.
Story Mode
Функция Story Mode принимает текст истории в качестве входных данных. Следовательно, он создает сопровождающую фоновую музыку. Пользователи могут использовать эту функцию для создания саундтрека к сказке, видеоигре или фильму, изображая сценарий или эмоциональный тон.
Story Mode — удобный инструмент для медиа-художников. Таким образом, он может генерировать широкий спектр музыкальных стилей и инструментов. Режим сказки MusicLM усиливает эмоциональное воздействие сцены. Так у зрителей появляется дополнительная степень погружения в историю.
Уровень опыта музыканта
Вы можете настроить сложность создаваемой музыки. Пользователи могут выбирать между тремя уровнями в зависимости от уровня их навыков. Кроме того, они могут указать предпочтительную степень сложности: начальный, средний или продвинутый.
Эта функция поможет вам, если у вас есть небольшой музыкальный опыт и вы хотите поэкспериментировать с новыми композициями. Однако, если вы опытный музыкант, вы можете создавать сложную и тонкую музыку. Цель MusicLM с этой функцией — предоставить доступный опыт для всех пользователей.
Разнообразие поколений
С помощью функции Generation Diversity вы можете создать множество версий песни из одного и того же источника. И вы можете иметь разнообразный диапазон выходов. Это означает, что ИИ может генерировать несколько версий песни.
Кроме того, есть альтернативные мелодии или последовательности аккордов, но при этом сохраняется основной стиль и структура песни. Эта функция помогает ИИ создавать музыку более творчески. Следовательно, это делает создание музыки более похожим на написание песен человеком.
Возможные ограничения MusicLM
Google еще не сделал MusicLM доступным для широкой публики, так как он все еще находится в разработке. Следовательно, вы пока не можете привести конкретные образцы музыки, которую может создавать MusicLM. Кроме того, еще немного неизвестно, какие ограничения могут быть у MusicLM.
Поскольку технология все еще находится на ранней стадии, у нее могут быть определенные ограничения на качество производимой музыки или ее способность обрабатывать определенные входные данные.
Одним из ключевых недостатков является искаженное качество получаемых образцов. Это необходимый побочный продукт процедуры обучения, используемой для разработки MusicLM.
Еще один недостаток заключается в том, что, несмотря на технические возможности MusicLM по производству вокала. В том числе хоровые песни. «Текст», созданный MusicLM, иногда кажется тарабарщиной. Кроме того, их может быть трудно понять. Однако MusicLM все еще находится в разработке, и эти проблемы можно исправить.
Заключительные замечания
Наконец, мы считаем, что технология, лежащая в основе Google MusicLM, интересна и увлекательна. Удивительно, что ИИ может создавать музыку в самых разных стилях с более высоким уровнем реализма. MusicLM может изменить музыкальный бизнес. И мы рады наблюдать за развитием этой технологии.
Оставьте комментарий