谷歌發布了 MusicLM,這是一種人工智能,可以根據您輸入的文字創作音樂,例如 DALL-E 2。它是由谷歌研究院創建的一種語言模型。 此外,他們專為音樂創作而設計。
而且,它已經過大量音樂文件數據集的訓練,可以製作各種風格和形式的音樂。 如果您對音樂感興趣; 那麼您應該檢查 MusicLM 將提供什麼。
使用 MusicLM,您可以以某些技術和形式製作音樂。 例如,您可以為歌詞創作鋼琴曲、鼓點和旋律。
此外,您可以微調某些樣式或包括用戶提供的輸入。 它旨在產生和諧和有節奏的凝聚力的音樂。 那麼,讓我們深入了解一下 MusicLM 的全部內容。
以前的嘗試
MusicLM 並不是第一個人工智能生成的音樂系統。 Riffusion、Dance Diffusion、Google 的 AudioML 和 OpenAI 的 點唱機 是可比方法的例子。 然而,這些現有系統受到技術限制。
此外,他們缺乏訓練數據,因此很難創作出高質量的曲子。 然而,MusicLM 有能力創作出更複雜、更真實的音樂。
概述 MusicLM
MusicLM 學習音樂的結構和風格。 因此,它在大量 MIDI 和符號音樂文件數據集上接受訓練。 與其類似程序一樣,MusicLM 建立在 Transformer 架構之上。
MusicLM 的轉換器架構利用自註意力技術專注於特定的輸入組件,用於從大數據集中提取音樂的結構和風格。 因此,您可以創作和諧且有節奏感的音樂。
而且,這種音樂可以模仿用戶輸入的組織。 因此,您將能夠獲得您專門向程序描述的音樂結果。
前任的成功 語言模型,例如 GPT-2 和 GPT-3,它們已經證明了自己創造連貫流暢寫作的能力,啟發了 MusicLM。 另一方面,MusicLM 是第一個專為音樂世代打造的語言模型。
而且,我們認為它將被視為最複雜的模型之一。
它是如何工作?
DALL-E 2 和谷歌的 MusicLM 人工智能 有很多結構上的相似之處。 不過這一次,你的作品是通過音樂而不是視覺來傳達的。 此時,您可以完全構建一個整體。 此外,您可以只使用一種樂器來產生節奏。
您可以在 MusicLM 的 Github 頁面上查看由 Google AI 團隊創建的多個樣本研究。 儘管人工智能還處於研發階段,但它能發出的聲音是高分辨率的。 此外,還有一些建議,例如將此 AI 與 ChatGPT 集成。 這種整合可能會產生更複雜、更有創意的音樂。
從哼唱到熱門旋律
MusicLM 結合了四種不同的 AI 模型:MuLan、AudioLM、w2v-BERT 和 Soundstream。 儘管這些模型中的每一個都具有一組獨特的功能。 然而,當它們被整合時,它們產生了 MusicLM!
音樂家和行業專業人士已經註意到 MusicLM 將最基本的嗡嗡聲和雜音轉化為完整曲調的能力。 通過與 ChatGPT 結合,它可以產生獨特的音樂。
您可以在其上聆聽和探索 MusicLM 創建的音樂和聲音 網站. 但是,請記住它目前處於測試階段。 很明顯,隨著技術的發展,MusicLM 有能力徹底改變音樂業務。
人工智能生成的音樂具有類似人類的細微差別
為了根據詳盡的描述製作有意義的歌曲,MusicLM 在包含 280,000 小時音樂的大型數據集上進行了訓練。 例如,您可以創建“具有深沉低音和復雜鼓節奏的旋律 dubstep 曲調”。 或者,您可以要求它創作“一首帶有迷人吉他重複段和有力歌手的迷人流行歌曲”。 在這種情況下,您的想像力是極限。
產生的歌曲類似於人類音樂家創作的歌曲。 MusicLM 的樣本非常驚人。 這是真的,尤其是考慮到沒有人參與合成過程。 MusicLM 可以重複細微的方面,例如音樂即興重複段、旋律和情感。 此外,即使給出複雜而明確的規範,它也能正常工作。
重要特徵
繪畫字幕調理
Painting Caption Conditioning 是一個 MusicLM 函數。 您可以根據文字描述或繪畫的“標題”製作音樂。 這意味著 MusicLM 能夠創作出能夠捕捉圖片中表達的情感、心情和想法的音樂。 這種能力對製作電影音樂非常有幫助, 視頻遊戲, 以及各種視覺媒體。
故事模式
故事模式功能將故事文本作為輸入。 因此,它會創建伴隨的背景音樂。 用戶可以利用此功能通過描述場景或情感基調來為故事、視頻遊戲或電影製作配樂。
故事模式是媒體藝術家的便捷工具。 因此,它可以產生範圍廣泛的音樂風格和樂器。 MusicLM 的故事模式可以增加場景的情感影響。 因此,觀眾可以更加沉浸在故事中。
音樂家經驗水平
您可以自定義創作音樂的難度。 用戶可以根據自己的技能水平在三個級別之間進行選擇。 此外,他們還可以指定首選的複雜程度:初級、中級或高級。
如果您有一點音樂專業知識並想嘗試新的作品,此功能將對您有所幫助。 但是,如果您是一位經驗豐富的音樂家,則可以創作複雜而微妙的音樂。 MusicLM 使用此功能的目標是為所有用戶提供可訪問的體驗。
世代多樣性
使用 Generation Diversity 功能,您可以從同一輸入生成一首歌曲的多個版本。 而且,您可以擁有多種輸出。 這意味著 AI 可能會生成一首歌曲的多個版本。
此外,還有交替的旋律或和弦進行,同時仍保持歌曲的基本風格和結構。 此功能有助於 AI 的音樂創作更具創意。 因此,它使音樂創作更類似於人類的歌曲創作。
MusicLM 的可能限制
谷歌尚未向公眾提供 MusicLM,因為它仍在開發中。 因此,您還不能給出 MusicLM 可以製作的音樂種類的特定樣本。 此外,MusicLM 可能有什麼限制仍然有點未知。
由於該技術仍處於早期階段,它可能會對製作的音樂的質量或處理特定輸入的能力有一定的限制。
所生產樣品的質量失真是主要缺點之一。 這是用於開發 MusicLM 的培訓程序的必要副產品。
另一個缺點是,儘管 MusicLM 有製造人聲的技術能力。 這包括合唱團歌曲。 MusicLM 製作的“歌詞”有時看起來像胡言亂語。 此外,它們可能很難理解。 但是,MusicLM 仍在開發中,這些問題可以得到改善。
最後的評論
最後,我們相信作為 Google MusicLM 基礎的技術既有趣又引人入勝。 令人驚訝的是,人工智能可以製作出多種風格的音樂,具有更高的真實感。 MusicLM 有可能改變音樂行業。 而且,我們很高興看到這項技術如何發展。
發表評論