Google анонсувала MusicLM, штучний інтелект, який створює музику зі слів, які ви вводите, наприклад DALL-E 2. Це мовна модель, створена Google Research. Крім того, вони створили його виключно для створення музики.
Він був навчений на величезному наборі музичних файлів і може створювати музику в різних стилях і формах. Якщо ви цікавитесь музикою; тоді ви повинні перевірити, що пропонує MusicLM.
З MusicLM ви створюєте музику в певних техніках і формах. Наприклад, ви можете створювати п’єси для фортепіано, барабани та мелодії для текстів.
Крім того, ви можете точно налаштувати певні стилі або включити введення, надане користувачем. Він призначений для створення гармонійно та ритмічно злагодженої музики. Отже, давайте заглибимося в тему та подивимося, що таке MusicLM.
Попередні спроби
MusicLM — не перша музична система, створена штучним інтелектом. Riffusion, Dance Diffusion, AudioML від Google і OpenAI Jukebox є прикладами порівнянних підходів. Однак ці попередні системи були обмежені технологічними обмеженнями.
Крім того, відсутність у них даних про навчання ускладнювало створення високоякісних мелодій. Однак MusicLM має можливість створювати музику з більшим рівнем витонченості та реалізму.
Огляд MusicLM
MusicLM вивчає структуру та стиль музики. Таким чином, він навчається на величезному наборі даних MIDI та символічних музичних файлів. Як і подібні програми, MusicLM побудовано на архітектурі Transformer.
Використовуючи методи самоуважності, щоб зосередитися на конкретних вхідних компонентах, трансформаторна архітектура MusicLM використовується для вилучення структури та стилю музики з великого набору даних. В результаті ви можете створити гармонійно і ритмічно цілісну музику.
І ця музика може імітувати організацію введення користувача. Таким чином, ви зможете отримати музичний результат, який ви спеціально описуєте в програмі.
Успіх попереднього мовні моделі, такі як GPT-2 і GPT-3, які довели свою здатність створювати зв’язне та плавне письмо, надихнули MusicLM. MusicLM, з іншого боку, є першою мовною моделлю, створеною виключно для музичного покоління.
І ми думаємо, що вона буде вважатися однією з найдосконаліших моделей.
Як це працює?
DALL-E 2 і Google MusicLM штучний інтелект мають багато структурних подібностей. Однак цього разу ваші твори передано музично, а не візуально. На цьому етапі ви можете або повністю побудувати цілу частину. Крім того, ви можете створити ритм, використовуючи лише один інструмент.
Ви можете переглянути декілька прикладів досліджень, створених командою Google AI, на сторінці MusicLM на Github. Незважаючи на те, що ШІ все ще знаходиться на стадії досліджень і розробок, звуки, які він може видавати, мають високу роздільну здатність. Крім того, були пропозиції, такі як інтеграція цього ШІ з ChatGPT. Ця інтеграція може призвести до більш складної та творчої музики.
Від наспівування до хітових мелодій
MusicLM поєднує чотири різні моделі ШІ: MuLan, AudioLM, w2v-BERT і Soundstream. Хоча кожна з цих моделей має набір відмінних можливостей. Однак, коли вони були інтегровані, вони призвели до MusicLM!
Музиканти та професіонали індустрії звернули увагу на здатність MusicLM перетворювати навіть найпростіші гудіння та шепотіння на цілі мелодії. У поєднанні з ChatGPT він може створювати унікальну музику.
Ви можете слухати та вивчати музику та звуки, створені MusicLM сайт. Але майте на увазі, що зараз він знаходиться на етапі тестування. Очевидно, що MusicLM має здатність повністю трансформувати музичний бізнес у міру розвитку технологій.
Музика, створена штучним інтелектом, із людськими нюансами
Щоб створювати пісні, які мають сенс на основі ретельних описів, MusicLM навчався на великому наборі даних із 280,000 XNUMX годин музики. Наприклад, ви можете створити «мелодійну дабстеп-мелодію з глибоким басом і витонченими ритмами барабанів». Або ви можете попросити його створити «привабливу поп-пісню із захоплюючим гітарним рифом і сильним вокалістом». Ваша фантазія в цьому випадку є межею.
Вироблені пісні нагадують ті, що створені людьми-музикантами. Зразки MusicLM надзвичайно вражають. Це правда, особливо враховуючи, що в процесі композиції немає жодної людини. MusicLM може повторювати такі нюанси, як музичні рифи, мелодії та емоції. Крім того, він працює, навіть якщо надати складні та чіткі специфікації.
Важливі особливості
Кондиціонування написів малювання
Кондиціонування субтитрів малювання — це функція MusicLM. Ви можете створити музику на основі текстового опису чи «підпису» до картини. Це означає, що MusicLM здатний створювати музику, яка передає емоції, настрій та ідеї, виражені в картині. Ця можливість дуже корисна для створення музики для фільмів, відеоігрита всі види візуальних медіа.
Story Mode
Функція Story Mode приймає текст історії як вхідні дані. Таким чином, він створює супровідну фонову музику. Користувачі можуть використовувати цю функцію, щоб створити саундтрек до казки, відеоігри чи фільму, зображуючи сценарій або емоційний тон.
Story Mode — це зручний інструмент для медіахудожників. Таким чином, він може генерувати широкий спектр музичних стилів та інструментів. Режим розповіді MusicLM посилює емоційний вплив сцени. Таким чином, глядачі можуть додатково зануритися в історію.
Рівень досвіду музиканта
Ви можете налаштувати складність створеної музики. Користувачі можуть вибирати між трьома рівнями залежно від рівня своїх навичок. Крім того, вони можуть вказати бажаний рівень складності: початковий, середній або просунутий.
Ця функція допоможе вам, якщо ви маєте невеликий музичний досвід і хочете поекспериментувати з новими композиціями. Однак, якщо ви досвідчений музикант, ви можете створити витончену і тонку музику. Мета MusicLM із цією функцією — забезпечити доступність для всіх користувачів.
Різноманітність поколінь
За допомогою функції Generation Diversity ви можете створювати багато версій пісні з одного входу. І ви можете мати різноманітний діапазон виходів. Це означає, що штучний інтелект може створити кілька версій пісні.
Крім того, є альтернативні мелодії або прогресії акордів, зберігаючи основний стиль і структуру пісні. Ця функція допомагає ШІ створювати музику більш творчо. Отже, це робить створення музики більш подібним до написання пісень людиною.
Можливі обмеження MusicLM
Google ще не зробив MusicLM доступним для широкої публіки, оскільки він все ще розробляється. Отже, ви ще не можете надати конкретні зразки видів музики, які може створити MusicLM. Крім того, досі невідомо, які обмеження може мати MusicLM.
Оскільки технологія все ще перебуває на ранніх стадіях, вона може мати певні обмеження щодо калібру музики, яка створюється, або її здатності обробляти певні вхідні дані.
Спотворена якість виготовлених зразків є одним із основних недоліків. Це необхідний побічний продукт процедури навчання, яка використовується для розробки MusicLM.
Іншим недоліком є те, що незважаючи на технічну здатність MusicLM виробляти вокал. Сюди входять і хорові пісні. Тексти пісень, створені MusicLM, іноді здаються тарабарщиною. Крім того, їх важко зрозуміти. Однак MusicLM все ще знаходиться в розробці, і ці проблеми можна виправити.
Остаточні зауваження
Нарешті, ми вважаємо, що технологія, яка лежить в основі Google MusicLM, є цікавою та захоплюючою. Дивно, що штучний інтелект може створювати музику в різних стилях з вищим рівнем реалізму. MusicLM має потенціал змінити музичний бізнес. І ми раді спостерігати, як ця технологія розвивається.
залишити коментар