גוגל מודיע מוזיקלם, קינסטלעך סייכל וואָס קריייץ מוזיק פון די ווערטער איר דרוקן, ווי DALL-E 2. עס איז אַ שפּראַך מאָדעל באשאפן דורך Google פאָרשונג. אויסערדעם, זיי האָבן אויסשליסלעך דיזיינד עס פֿאַר מוזיק שאַפונג.
און, עס איז טריינד אויף אַ וואַסט דאַטאַסעט פון מוזיק טעקעס און קענען פּראָדוצירן מוזיק אין אַ קייט פון סטיילז און פארמען. אויב איר זענט אינטערעסירט אין מוזיק; דעמאָלט איר זאָל קאָנטראָלירן וואָס MusicLM וועט פאָרשלאָגן.
מיט MusicLM איר פּראָדוצירן מוזיק אין עטלעכע טעקניקס און פארמען. פֿאַר בייַשפּיל, איר קענען מאַכן פּיאַנע שטיק, דראַמז ביץ און מעלאָדיעס פֿאַר ליריקס.
אויך, איר קענען פיין ניגן צו זיכער סטיילז אָדער אַרייַננעמען באַניצער-צוגעשטעלט אַרייַנשרייַב. עס איז מענט צו פּראָדוצירן מוזיק וואָס איז האַרמאָניקאַללי און רידמיקלי קאָוכיסיוו. אַזוי, לאָזן אונדז ונטערטוקנ זיך און זען וואָס MusicLM איז אַלע וועגן.
פריערדיגע פרווון
MusicLM איז נישט דער ערשטער אַי-דזשענערייטאַד מוזיק סיסטעם. ריפפוסיאָן, דאַנס דיפפוסיאָן, Google ס אַודיאָמל, און OpenAI דזשוקעבאָקס זענען ביישפילן פון פאַרגלייַכלעך אַפּראָוטשיז. אָבער, די פריערדיקע סיסטעמען זענען קאַנסטריינד דורך טעקנאַלאַדזשיקאַל ריסטריקשאַנז.
אויך, זייער פעלן פון טריינינג דאַטן געמאכט עס שווער צו קאַמפּאָוז הויך-קוואַליטעט טונעס. אָבער, MusicLM האט די פיייקייט צו שאַפֿן מוזיק מיט אַ העכער מדרגה פון סאַפיסטאַקיישאַן און רעאַליזם.
איבערבליק MusicLM
MusicLM לערנט די סטרוקטור און סטיל פון מוזיק. דערפאר, עס איז טריינד אויף אַ וואַסט דאַטאַסעט פון MIDI און סימבאָליש מוזיק טעקעס. ווי די ענלעך מגילה, MusicLM איז געבויט אויף טראַנספאָרמער אַרקאַטעקטשער.
ניצן זיך-ופמערקזאַמקייט טעקניקס צו קאַנסאַנטרייט אויף באַזונדער אַרייַנשרייַב קאַמפּאָונאַנץ, די טראַנספאָרמער אַרקאַטעקטשער פון MusicLM איז געניצט צו עקסטראַקט די סטרוקטור און סטיל פון מוזיק פֿון אַ גרויס דאַטאַסעט. ווי אַ רעזולטאַט, איר קענען מאַכן כאַרמאָוניאַס און רידמיקלי קאָוכיסיוו מוזיק.
און, דעם מוזיק קענען נאָכקרימען די אָרגאַניזאַציע פון די באַניצער אַרייַנשרייַב. דערפאר איר וועט קענען צו באַקומען די מוזיקאַליש רעזולטאַט וואָס איר ספּאַסיפיקלי באַשרייַבן צו די פּראָגראַם.
די הצלחה פון פריער שפּראַך מאָדעלס, אַזאַ ווי GPT-2 און GPT-3, וואָס האָבן פּרוווד זייער פיייקייט צו שאַפֿן קאָוכיראַנט און גלאַט שרייבן, ינספּייערד MusicLM. MusicLM, אויף די אנדערע האַנט, איז דער ערשטער שפּראַך מאָדעל וואָס איז געווען אויסשליסלעך געבויט פֿאַר די מוזיק דור.
און, מיר טראַכטן עס וועט זיין גערעכנט ווי איינער פון די מערסט סאַפיסטאַקייטיד מאָדעלס.
ווי טוט עס וואָרק?
DALL-E 2 און Google ס MusicLM קינסטלעך סייכל טיילן אַ פּלאַץ פון סטראַקטשעראַל סימאַלעראַטיז. דאָס מאָל, אָבער, דיין שרייבן איז קאַנווייד מוזיקאַליש אלא ווי וויזשוואַלי. אין דעם פונט, איר קענען אָדער גאָר בויען אַ גאַנץ שטיק. אויך, איר קענען דזשענערייט ריטם מיט בלויז איין קיילע.
איר קענט זען עטלעכע מוסטער שטודיום באשאפן דורך די Google AI מאַנשאַפֿט אויף די Github בלאַט פון MusicLM. אפילו כאָטש די אַי איז נאָך אין דער פאָרשונג און אַנטוויקלונג בינע, די סאָונדס עס קענען מאַכן זענען הויך האַכלאָטע. אויך, עס זענען געווען פֿירלייגן, אַזאַ ווי ינטאַגרייטינג דעם אַי מיט ChatGPT. דעם ינאַגריישאַן קען פירן צו מער ינטראַקאַט און שעפעריש מוזיק.
פון כאַמינג צו שלאָגן מעלאָדיעס
MusicLM קאַמביינז פיר פאַרשידענע אַי מאָדעלס: Mulan, AudioLM, w2v-BERT און Soundstream. כאָטש יעדער פון די מאָדעלס האט אַ סכום פון אָפּשיידנדיק קייפּאַבילאַטיז. אָבער, ווען זיי האָבן ינאַגרייטיד, זיי ריזאַלטיד אין MusicLM!
מיוזישאַנז און ינדאַסטרי פּראָפעססיאָנאַלס האָבן באמערקט די פיייקייט פון MusicLM צו יבערמאַכן אפילו די מערסט יקערדיק כאַמז און מורמערז אין גאַנץ ניגון. דורך קאַמביינינג מיט ChatGPT, עס קענען פּראָדוצירן יינציק מוזיק.
איר קענען הערן צו און ויספאָרשן די מוזיק און סאָונדס באשאפן דורך MusicLM וועבזייַטל. אָבער, האַלטן אין מיינונג אַז עס איז דערווייַל אין די טעסטינג פאַסע. עס איז קלאָר ווי דער טאָג אַז MusicLM האט די פיייקייט צו גאָר יבערמאַכן די מוזיק געשעפט ווי טעכנאָלאָגיע דעוועלאָפּס.
אַי-דזשענערייטאַד מוזיק מיט מענטש-ווי נואַנסיז
צו פּראָדוצירן לידער וואָס מאַכן זינען באזירט אויף גרונטיק דיסקריפּשאַנז, MusicLM איז טריינד אויף אַ גרויס דאַטאַסעט פון 280,000 שעה פון מוזיק. פֿאַר בייַשפּיל, איר קענען מאַכן "אַ מעלאָדיק דובסטעפּ ניגן מיט אַ טיף באַס און סאַפיסטאַקייטיד פּויק רידאַמז". אָדער איר קען בעטן עס צו שאַפֿן "אַן ינטייסינג קנאַל ליד מיט אַ קאַפּטיווייטינג גיטאַרע ריף און אַ שטאַרק וואָקאַליסט." דיין פאַנטאַזיע איז דער שיעור אין דעם פאַל.
די געשאפן לידער ריזעמבאַל די קאַמפּאָוזד דורך מענטשלעך מיוזישאַנז. די סאַמפּאַלז פון MusicLM זענען גאָר אַמייזינג. עס איז אמת ספּעציעל ווייַל עס איז קיין מענטש ינוואַלווד אין דעם זאַץ פּראָצעס. MusicLM קענען איבערחזרן נואַנסט אַספּעקץ אַזאַ ווי מוזיקאַליש ריפס, מעלאָדיעס און ימאָושאַנז. אויסערדעם, עס אַרבעט אפילו ווען געגעבן קאָמפּליצירט און יקספּליסאַט ספּעסאַפאַקיישאַנז.
וויכטיק פֿעיִקייטן
געמעל קאַפּטיאָן קאַנדישאַנינג
געמעל קאַפּטיאָן קאַנדישאַנינג איז אַ MusicLM פונקציע. איר קענען פּראָדוצירן מוזיק באזירט אויף אַ טעקסט באַשרייַבונג אָדער "קעפּל" פון אַ געמעל. דאָס ימפּלייז אַז MusicLM איז ביכולת צו שאַפֿן מוזיק וואָס קאַפּטשערז די ימאָושאַנז, שטימונגען און געדאנקען אויסגעדריקט אין אַ בילד. די פיייקייט איז זייער נוציק פֿאַר מאכן מוזיק פֿאַר קינאָ, ווידעא גאַמעס, און אַלע מינים פון וויזשאַוואַל מידיאַ.
געשיכטע מאָדע
סטאָרי מאָדע שטריך נעמט אַ דערציילונג טעקסט ווי אַרייַנשרייַב. דערפאר, עס קריייץ אַקאַמפּאַניינג הינטערגרונט מוזיק. יוזערז קענען נוצן דעם פֿונקציע צו בויען אַ סאַונדטראַק פֿאַר אַ מייַסע, ווידעא שפּיל אָדער פֿילם דורך דיפּיקטינג די סצענאַר אָדער עמאָציאָנעל טאָן.
סטאָרי מאָדע איז אַ האַנטיק געצייַג פֿאַר מעדיע אַרטיס. אזוי, עס קענען דזשענערייט אַ ברייט קייט פון מוזיקאַליש סטיילז און ינסטראַמאַנץ. MusicLM ס טייל מאָדע וועט פאַרגרעסערן די עמאָציאָנעל פּראַל פון אַ סצענע. אַזוי, וויוערז קענען האָבן אַן נאָך גראַד פון טבילה אין דער געשיכטע.
מוזיקער דערפאַרונג מדרגה
איר קענען קאַסטאַמייז די שוועריקייט פון באשאפן מוזיק. יוזערז קענען קלייַבן צווישן דריי לעוועלס באזירט אויף זייער בקיעס מדרגה. זיי קענען אויך ספּעציפיצירן די בילכער גראַד פון קאַמפּלעקסיטי: אָנהייבער, ינטערמידייט אָדער אַוואַנסירטע.
דער שטריך העלפּס איר אויב איר האָבן אַ ביסל מוזיקאַליש עקספּערטיז און ווילן צו עקספּערימענט מיט נייַע חיבורים. אָבער, אויב איר זענט אַ יקספּיריאַנסט קלעזמער, איר קענען מאַכן סאַפיסטאַקייטיד און סאַטאַל מוזיק. דער ציל פון MusicLM מיט דעם שטריך איז צו צושטעלן אַ צוטריטלעך דערפאַרונג פֿאַר אַלע יוזערז.
דור דייווערסיטי
מיט די דור דייווערסיטי פונקציע, איר קענען פּראָדוצירן פילע ווערסיעס פון אַ ליד פֿון דער זעלביקער אַרייַנשרייַב. און, איר קענען האָבן אַ וועריד קייט פון אַוטפּוץ. דאָס ימפּלייז אַז די אַי קען דזשענערייט קייפל ווערסיעס פון אַ ליד.
אויסערדעם, עס זענען אַלטערנאַטיווע מעלאָדיעס אָדער קאָרד פּראַגרעשאַנז, בשעת נאָך בעכעסקעם די גרונט נוסח און סטרוקטור פון די ליד. דער שטריך העלפּס די מוזיק שאַפונג פון אַי צו זיין מער שעפעריש. דעריבער, עס מאכט מוזיק שאַפונג מער אַנאַלאָג צו מענטש סאָנגרייטינג.
מעגלעך לימיטיישאַנז פון MusicLM
Google האט נאָך נישט געמאכט MusicLM בנימצא צו דער אַלגעמיין ציבור ווייַל עס איז נאָך אין אַנטוויקלונג. דערפאר איר קענט נאָך נישט געבן באַזונדער סאַמפּאַלז פון די מינים פון מוזיק וואָס MusicLM קענען פּראָדוצירן. דערצו, עס איז נאָך אַ ביסל אומבאַקאַנט וואָס ריסטריקשאַנז MusicLM קען האָבן.
ווי די טעכנאָלאָגיע איז נאָך אין זיין פרי סטאַגעס, עס קען האָבן זיכער ריסטריקשאַנז אויף די קאַליבער פון די מוזיק וואָס איז געשאפן אָדער די קאַפּאַציטעט צו שעפּן באַזונדער ינפּוץ.
די פאַרקרימט קוואַליטעט פון די געשאפן סאַמפּאַלז איז איינער פון די הויפּט דיסאַדוואַנטידזשיז. דאָס איז אַ נויטיק בייפּראָדוקט פון די טריינינג פּראָצעדור געניצט צו אַנטוויקלען MusicLM.
אן אנדער שטערונג איז אַז טראָץ MusicLM ס טעכניש פיייקייט צו פּראָדוצירן וואָקאַלס. דאָס כולל כאָר לידער. די "ליריקס" געשאפן דורך MusicLM מאל ויסקומען ווי גיבבעריש. אין דערצו, זיי קענען זיין שווער צו פֿאַרשטיין. אָבער, MusicLM איז נאָך אין אַנטוויקלונג און די ישוז קענען זיין ימפּרוווד.
לעצט רימאַרקס
צום סוף, מיר גלויבן אַז די טעכנאָלאָגיע אַנדערלייינג Google MusicLM איז טשיקאַווע און פאַסאַנייטינג. עס איז אַמייזינג אַז אַ אַי קענען מאַכן מוזיק אין אַ פאַרשיידנקייַט פון סטיילז, מיט אַ העכער רעאַליזם מדרגה. MusicLM האט די פּאָטענציעל צו טוישן די מוזיק געשעפט. און, מיר זענען יקסייטאַד צו היטן ווי די טעכנאָלאָגיע יוואַלווז.
לאָזן אַ ענטפֿערן