Google MusicLM буюу DALL-E 2 гэх мэт таны бичсэн үгээр хөгжим үүсгэдэг хиймэл оюун ухааныг зарлалаа. Энэ нь Google Research-ийн бүтээсэн хэлний загвар юм. Нэмж дурдахад тэд үүнийг зөвхөн хөгжим бүтээхэд зориулж бүтээсэн.
Мөн энэ нь хөгжмийн файлуудын асар их өгөгдлийн багц дээр бэлтгэгдсэн бөгөөд янз бүрийн хэв маяг, хэлбэрээр хөгжим гаргах боломжтой. Хэрэв та хөгжим сонирхдог бол; Дараа нь та MusicLM юу санал болгохыг шалгах хэрэгтэй.
MusicLM-ийн тусламжтайгаар та зарим техник, хэлбэрээр хөгжим гаргадаг. Жишээлбэл, та төгөлдөр хуурын хэсэг, бөмбөрийн цохилт, дууны үгэнд зориулсан аялгуу үүсгэж болно.
Мөн та тодорхой хэв маягийг нарийн тааруулж эсвэл хэрэглэгчийн оруулсан оролтыг оруулах боломжтой. Энэ нь эв нэгдэлтэй, хэмнэлтэй холбоотой хөгжим гаргах зорилготой юм. Тиймээс, MusicLM гэж юу болохыг харцгаая.
Өмнөх оролдлого
MusicLM бол хиймэл оюун ухаанаар бүтээсэн анхны хөгжмийн систем биш юм. Riffusion, Dance Diffusion, Google-ийн AudioML, OpenAI Жукебокс харьцуулж болох аргуудын жишээ юм. Гэсэн хэдий ч эдгээр өмнөх системүүд технологийн хязгаарлалтаар хязгаарлагдаж байсан.
Мөн тэдний сургалтын мэдээлэл дутмаг нь өндөр чанартай ая зохиоход хүндрэл учруулж байв. Гэсэн хэдий ч MusicLM нь илүү боловсронгуй, бодитой хөгжмийг бүтээх чадвартай.
MusicLM-ийн тойм
MusicLM нь хөгжмийн бүтэц, хэв маягийг сурдаг. Тиймээс энэ нь MIDI болон симбол хөгжмийн файлуудын асар том мэдээллийн багцад сургагдсан болно. Үүнтэй төстэй програмуудын нэгэн адил MusicLM нь Transformer архитектур дээр суурилагдсан.
Тодорхой оролтын бүрэлдэхүүн хэсгүүдэд анхаарлаа төвлөрүүлэхийн тулд өөртөө анхаарал хандуулах арга техникийг ашиглан MusicLM-ийн трансформаторын архитектурыг том мэдээллийн сангаас хөгжмийн бүтэц, хэв маягийг гаргаж авахад ашигладаг. Үүний үр дүнд та эв найртай, хэмнэлтэй уялдаатай хөгжмийг бий болгож чадна.
Мөн энэ хөгжим нь хэрэглэгчийн оролтын зохион байгуулалтыг дуурайж чаддаг. Тиймээс та хөтөлбөрт тусгайлан тодорхойлсон хөгжмийн үр дүнг авах боломжтой болно.
Өмнөх амжилт хэлний загварууд, GPT-2 болон GPT-3 зэрэг уялдаа холбоотой, чөлөөтэй бичих чадвараа баталсан нь MusicLM-ийг урамшуулсан. Харин MusicLM бол хөгжмийн үеийнхэнд зориулан бүтээсэн анхны хэлний загвар юм.
Мөн бид үүнийг хамгийн боловсронгуй загваруудын нэг гэж үзэх болно гэж бодож байна.
Энэ яаж ажилдаг вэ?
DALL-E 2 болон Google-ийн MusicLM хиймэл оюун бүтцийн хувьд ижил төстэй зүйл ихтэй. Харин энэ удаад таны зохиолыг дүрслэхээс илүүтэй хөгжмийн хэлбэрээр хүргэж байна. Энэ үед та бүхэл бүтэн хэсгийг бүрэн барьж болно. Мөн та зөвхөн нэг хэрэгсэл ашиглан хэмнэлийг үүсгэж болно.
Та MusicLM-ийн Github хуудаснаас Google AI багийн бүтээсэн хэд хэдэн жишээ судалгааг үзэж болно. Хэдийгээр хиймэл оюун ухаан нь судалгаа, хөгжүүлэлтийн шатандаа байгаа ч түүний гаргаж чадах дуу чимээ нь өндөр нягтралтай байдаг. Мөн энэхүү AI-г ChatGPT-тэй нэгтгэх гэх мэт саналууд ирсэн. Энэхүү нэгдэл нь илүү төвөгтэй, бүтээлч хөгжимд хүргэж болзошгүй юм.
Humming-ээс Hit Melody хүртэл
MusicLM нь MuLan, AudioLM, w2v-BERT, Soundstream гэсэн дөрвөн өөр AI загварыг нэгтгэдэг. Хэдийгээр эдгээр загвар бүр нь өвөрмөц чадвартай байдаг. Гэсэн хэдий ч, тэд нэгдсэн үед тэд MusicLM-тэй болсон!
Хөгжимчид болон салбарын мэргэжилтнүүд MusicLM-ийн хамгийн энгийн шуугиан, шуугианыг бүхэл бүтэн аялгуу болгон хувиргах чадварыг анзаарсан. ChatGPT-тэй хослуулснаар өвөрмөц хөгжим гаргах боломжтой.
Та MusicLM-ийн бүтээсэн хөгжим, дууг сонсож, судлах боломжтой вэб сайт. Гэхдээ одоогоор туршилтын шатандаа байгаа гэдгийг санаарай. MusicLM нь технологи хөгжихийн хэрээр хөгжмийн бизнесийг бүрэн өөрчлөх чадвартай гэдэг нь ойлгомжтой.
Хиймэл оюун ухаанаас бий болгосон, хүнийхтэй төстэй нюанс бүхий хөгжим
Нарийвчилсан тайлбар дээр үндэслэн утга учиртай дуу гаргахын тулд MusicLM-ийг 280,000 цагийн хөгжмийн том мэдээллийн санд сургасан. Жишээлбэл, та "гүнзгий басс, бөмбөрийн нарийн хэмнэлтэй уянгалаг дабстеп ая" үүсгэж болно. Эсвэл та түүнээс "сэтгэл татам гитар рифф, хүчирхэг хоолойтой, сэтгэл татам поп дуу" бүтээхийг хүсч болно. Энэ тохиолдолд таны төсөөлөл хязгаар болно.
Үйлдвэрлэсэн дуунууд нь хүний хөгжимчдийн зохиосон дуутай төстэй. MusicLM-ийн дээжүүд үнэхээр гайхалтай. Зохиолын үйл явцад хүн оролцдоггүй тул энэ нь үнэн юм. MusicLM нь хөгжмийн рифф, аялгуу, сэтгэл хөдлөл зэрэг нарийн ширийн зүйлийг давтаж чаддаг. Нэмж дурдахад энэ нь нарийн төвөгтэй, тодорхой үзүүлэлтүүдийг өгсөн ч ажилладаг.
Чухал онцлогууд
Уран зургийн тайлбар
Painting Caption Conditioning нь MusicLM функц юм. Та зургийн текстийн тайлбар эсвэл "гарчиг" дээр үндэслэн хөгжим гаргаж болно. Энэ нь MusicLM нь зураг дээр илэрхийлсэн сэтгэл хөдлөл, сэтгэл хөдлөл, санааг агуулсан хөгжим бүтээх чадвартай гэсэн үг юм. Энэ чадвар нь кинонд хөгжим хийхэд маш их тустай. видео тоглоом, бүх төрлийн харааны хэрэгсэл.
Өгүүллэг загвар
Өгүүллийн горимын онцлог нь түүхийн текстийг оролт болгон авдаг. Тиймээс энэ нь дагалдах арын хөгжим үүсгэдэг. Хэрэглэгчид энэ функцийг ашиглан үлгэр, видео тоглоом, киноны киноны дууг найруулга эсвэл сэтгэл хөдлөлийн өнгө аясыг дүрслэн харуулах боломжтой.
Өгүүллийн горим нь хэвлэл мэдээллийн уран бүтээлчдэд тохиромжтой хэрэгсэл юм. Тиймээс энэ нь өргөн хүрээний хөгжмийн хэв маяг, хэрэгслийг бий болгож чадна. MusicLM-ийн үлгэрийн горим нь үзэгдлийн сэтгэл хөдлөлийн нөлөөллийг нэмэгдүүлдэг. Тиймээс үзэгчид түүхэнд нэмэлт шимтгэлтэй байх боломжтой.
Хөгжимчдийн туршлагын түвшин
Та бүтээсэн хөгжмийн хүндрэлийг өөрчлөх боломжтой. Хэрэглэгчид өөрсдийн ур чадварын түвшингээс хамааран гурван түвшинг сонгох боломжтой. Мөн тэд нарийн төвөгтэй байдлын илүүд үздэг түвшинг зааж өгч болно: анхан, дунд, ахисан түвшний.
Хэрэв та бага зэрэг хөгжмийн мэдлэгтэй бөгөөд шинэ зохиолуудыг туршиж үзэхийг хүсч байвал энэ функц танд тусална. Гэсэн хэдий ч, хэрэв та туршлагатай хөгжимчин бол нарийн, нарийн хөгжмийг бий болгож чадна. MusicLM-ийн зорилго нь энэ функцийг бүх хэрэглэгчдэд хүртээмжтэй болгох явдал юм.
Үе үеийн олон янз байдал
Generation Diversity функцийн тусламжтайгаар та ижил оролтоос дууны олон хувилбарыг гаргаж болно. Мөн та олон төрлийн гаралттай байж болно. Энэ нь хиймэл оюун ухаан нь дууны олон хувилбарыг үүсгэж болно гэсэн үг юм.
Үүнээс гадна дууны үндсэн хэв маяг, бүтцийг хадгалсан хэвээр байгаа аялгуу эсвэл хөвчний дараалал байдаг. Энэ функц нь хиймэл оюун ухааны хөгжмийг илүү бүтээлч болгоход тусалдаг. Тиймээс энэ нь хөгжмийн бүтээлийг хүний дууны зохиолтой төстэй болгодог.
MusicLM-ийн боломжит хязгаарлалтууд
Google MusicLM-ийг хөгжүүлж байгаа тул олон нийтэд хараахан гаргаагүй байна. Тиймээс та MusicLM-ээс гаргаж болох хөгжмийн тодорхой жишээг хараахан өгөх боломжгүй байна. Цаашилбал, MusicLM ямар хязгаарлалттай байж болох нь тодорхойгүй хэвээр байна.
Технологи нь эхний шатандаа байгаа тул үйлдвэрлэсэн хөгжмийн калибрын хэмжээ эсвэл тодорхой оролтыг зохицуулах хүчин чадалд тодорхой хязгаарлалт тавьж магадгүй юм.
Үйлдвэрлэсэн дээжийн чанар муудсан нь гол сул талуудын нэг юм. Энэ нь MusicLM-г хөгжүүлэхэд ашигладаг сургалтын процедурын зайлшгүй шаардлагатай нэмэлт бүтээгдэхүүн юм.
Өөр нэг дутагдалтай тал бол MusicLM-ийн техникийн чадвартай хэдий ч хоолой үйлдвэрлэх чадвартай. Үүнд найрал дууны дуу орно. MusicLM-ийн бүтээсэн "дууны үг" заримдаа утгагүй мэт санагддаг. Үүнээс гадна тэдгээрийг ойлгоход хэцүү байж болно. Гэсэн хэдий ч MusicLM-ийг хөгжүүлж байгаа бөгөөд эдгээр асуудлыг сайжруулах боломжтой.
Төгсгөлийн тайлбар
Эцэст нь хэлэхэд, Google MusicLM-ийн үндсэн технологи нь сонирхолтой бөгөөд сэтгэл татам гэдэгт бид итгэдэг. Хиймэл оюун ухаан нь янз бүрийн хэв маягаар, илүү өндөр түвшний реализмтай хөгжим хийж чаддаг нь гайхалтай. MusicLM нь хөгжмийн бизнесийг өөрчлөх боломжтой. Мөн бид энэ технологи хэрхэн хөгжиж байгааг харж байгаадаа баяртай байна.
хариу үлдээх