Өнөөдөр бид байгалийн хэлийг боловсруулах чиглэлээр хувьсгал хийж байна. Хиймэл оюун ухаангүйгээр ирээдүй байхгүй нь гарцаагүй. Бид төрөл бүрийн AI "туслах" ашиглаж байна.
Чатбот бол манай тохиолдолд хамгийн сайн жишээ юм. Тэд харилцааны шинэ эрин үеийг төлөөлдөг. Гэхдээ тэднийг юугаараа онцгой болгодог вэ?
Одоогийн чатботууд нь хүний мэргэжилтнүүдийн адил нарийвчлал, нарийвчлалтайгаар байгалийн хэл дээрх асуултуудыг ойлгож, хариулж чаддаг. Энэ процесст ордог механизмуудын талаар суралцах нь сэтгэл хөдөлгөм юм.
Хүлээж аваад үүний цаад технологийг олж мэдэцгээе.
Техникийн салбарт шумбах
AI Transformers бол энэ чиглэлийн гол түлхүүр үг юм. Тэд адилхан мэдрэлийн сүлжээ байгалийн хэлний боловсруулалтад хувьсгал хийсэн. Бодит байдал дээр хиймэл оюун ухааны трансформатор болон мэдрэлийн сүлжээнүүдийн хооронд дизайны ижил төстэй зүйлүүд байдаг.
Аль аль нь оролтын өгөгдлийг гаралт болгон таамаглал болгон хувиргах хэд хэдэн тооцоолол хийдэг хэд хэдэн давхаргын боловсруулалтын нэгжээс бүрддэг. Энэ нийтлэлд бид AI Transformers-ийн хүч болон бидний эргэн тойрон дахь ертөнцийг хэрхэн өөрчилдөг талаар авч үзэх болно.
Байгалийн хэл боловсруулах боломж
Үндсэн зүйлээс эхэлье. Бид үүнийг бараг хаа сайгүй сонсдог. Гэхдээ байгалийн хэлний боловсруулалт гэж юу вэ?
Энэ нь сегмент юм хиймэл оюун Энэ нь байгалийн хэлээр дамжуулан хүн ба машинуудын харилцан үйлчлэлд төвлөрдөг. Зорилго нь компьютерт хүний хэлийг утга учиртай, жинхэнэ утгаар нь ойлгох, тайлбарлах, үйлдвэрлэх боломжийг олгох явдал юм.
Яриа таних, хэлний орчуулга, сэтгэл хөдлөлийн шинжилгээ, болон текстийн хураангуй нь бүгд NLP програмуудын жишээ юм. Уламжлалт NLP загварууд нь үг хэллэг дэх үгсийн хоорондын нарийн холбоосыг ойлгоход бэрхшээлтэй байдаг. Энэ нь олон NLP даалгаврын өндөр нарийвчлалыг боломжгүй болгосон.
Энэ бол AI Transformers зураг руу орох үед юм. Өөртөө анхаарал хандуулах үйл явцаар трансформаторууд урт хугацааны хамаарал, хэллэг дэх үгсийн хоорондох холбоосыг бүртгэж чадна. Энэ арга нь загварт оролтын дарааллын янз бүрийн хэсгүүдэд оролцохыг сонгох боломжийг олгодог. Тиймээс энэ нь хэллэг дэх үг бүрийн нөхцөл байдал, утгыг ойлгож чадна.
Трансформаторын загварууд яг юу вэ
AI трансформатор нь a гүн гүнзгий суралцах янз бүрийн төрлийн мэдээллийг ойлгож, боловсруулдаг архитектур. Энэ нь хэллэг дэх өөр өөр үгс хэрхэн холбогдож, зургийн өөр өөр хэсгүүд хоорондоо хэрхэн нийцэж байгаа гэх мэт олон бит мэдээлэл хоорондоо хэрхэн холбогдож байгааг тодорхойлоход маш сайн.
Энэ нь мэдээллийг жижиг хэсгүүдэд хувааж, дараа нь эдгээр бүх бүрэлдэхүүн хэсгүүдийг нэг дор харах замаар ажилладаг. Өгөгдлийг ойлгохын тулд олон тооны жижиг роботууд хамтран ажиллаж байгаа мэт. Дараа нь бүх зүйлийг мэдсэнийхээ дараа хариу эсвэл гаралтыг өгөхийн тулд бүх бүрэлдэхүүн хэсгүүдийг дахин угсардаг.
AI трансформаторууд нь маш үнэ цэнэтэй юм. Тэд олон янзын мэдээллийн хоорондох контекст болон урт хугацааны холбоосыг ойлгож чадна. Энэ нь хэлний орчуулга, нэгтгэн дүгнэх, асуултанд хариулах зэрэг ажлуудад маш чухал юм. Тиймээс тэд хиймэл оюун ухааны хийж чадах олон сонирхолтой зүйлсийн ард тархи нь юм!
Анхаарал л танд хэрэгтэй
"Анхаарал бол танд хэрэгтэй зүйл" гэсэн хадмал гарчиг нь трансформаторын загварыг санал болгосон 2017 оны хэвлэлд хамаарна. Энэ нь байгалийн хэл боловсруулах (NLP) салбарт хувьсгал хийсэн.
Энэхүү судалгааны зохиогчид трансформаторын загварын өөртөө анхаарал хандуулах механизм нь ердийн давталт болон хувиргах механизмын үүргийг гүйцэтгэх хангалттай хүчтэй байсан гэж мэдэгджээ. эргэлтийн мэдрэлийн сүлжээ NLP даалгаварт ашигладаг.
Өөртөө анхаарал хандуулах нь яг юу вэ?
Энэ нь таамаглал гаргахдаа загварт оролтын дарааллын янз бүрийн сегментүүдэд анхаарлаа төвлөрүүлэх боломжийг олгодог арга юм.
Өөрөөр хэлбэл, өөртөө анхаарал хандуулах нь загварт бусад бүх бүрэлдэхүүн хэсгүүдийн талаархи элемент бүрийн анхаарлын онооны багцыг тооцоолох боломжийг олгодог бөгөөд загвар нь оролтын элемент бүрийн ач холбогдлыг тэнцвэржүүлэх боломжийг олгодог.
Трансформаторт суурилсан хандлагад өөртөө анхаарал хандуулах нь дараахь байдлаар ажилладаг.
Оролтын дарааллыг эхлээд дарааллын гишүүн бүрд нэг нэгээр нь векторын цувралд суулгана.
Дарааллын элемент бүрийн хувьд загвар нь асуулгын вектор, түлхүүр вектор, утгын вектор гэсэн гурван багц вектор үүсгэдэг.
Асуулгын векторыг бүх гол векторуудтай харьцуулж, ижил төстэй байдлыг цэгийн үржвэрээр тооцдог.
Үр дүнгийн анхаарлын оноог softmax функцийг ашиглан хэвийн болгодог бөгөөд энэ нь дарааллын хэсэг бүрийн харьцангуй ач холбогдлыг харуулсан жинг үүсгэдэг.
Эцсийн гаралтын дүрслэлийг бий болгохын тулд утгын векторуудыг анхаарлын жингээр үржүүлж, нэгтгэнэ.
Өөртөө анхаарал хандуулдаг трансформаторт суурилсан загварууд нь тогтмол урттай контекст цонхноос хамааралгүйгээр оролтын дараалалд холын зайн харилцааг амжилттай барьж чаддаг тул тэдгээрийг байгалийн хэл боловсруулах програмуудад онцгой ач холбогдолтой болгодог.
Жишээ нь
Бидэнд "Муур дэвсгэр дээр суув." Токен бүрийг вектор хэлбэрээр илэрхийлж болох ба оролтын дарааллыг дараах байдлаар харж болно.
Дараа нь токен бүрийн хувьд бид гурван багц векторыг бүтээх болно: асуулгын вектор, түлхүүр вектор, утгын вектор. Эдгээр векторуудыг гаргахын тулд суулгагдсан жетон векторыг гурван сурсан жингийн матрицаар үржүүлнэ.
Жишээ нь, эхний "The" токенын хувьд асуулга, түлхүүр, утгын векторууд нь:
Асуулгын вектор: [0.4, -0.2, 0.1]
Түлхүүр вектор: [0.2, 0.1, 0.5]
Утгын вектор: [0.1, 0.2, 0.3]
Оролтын дараалал дахь хос жетон бүрийн хоорондох анхаарлын оноог өөртөө анхаарал хандуулах механизмаар тооцдог. Жишээлбэл, "The" 1 ба 2-р токенуудын хоорондох анхаарлын оноог тэдгээрийн асуулга болон гол векторуудын цэгийн үржвэрээр тооцно.
Анхаарлын оноо = цэг_бүтээгдэхүүн(Токен 1-ийн асуулгын вектор, Токен 2-ын гол вектор)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
Эдгээр анхаарлын оноо нь жетон тус бүрийн бусадтай харьцангуй хамаарлыг харуулдаг.
Эцэст нь, жетон бүрийн хувьд утгын векторуудын жигнэсэн нийлбэрийг авч, жинг нь анхаарлын оноогоор тодорхойлно. Жишээлбэл, "The" эхний токенын гаралтын дүрслэл нь:
Токен 1-ийн гаралтын вектор = (Токен 1-ийн анхаарлын оноо) * Токен 2-ын утгын вектор
+ (Токен 3-ын анхаарлын оноо) * Токен 3-ын утгын вектор
+ (Токен 4-ын анхаарлын оноо) * Токен 4-ын утгын вектор
+ (Токен 5-ын анхаарлын оноо) * Токен 5-ын утгын вектор
+ (Токен 6-ын анхаарлын оноо) * Токен 6-ын утгын вектор
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
Өөртөө анхаарал хандуулсны үр дүнд трансформатор дээр суурилсан загвар нь гаралтын дарааллыг үүсгэх үед оролтын дарааллын өөр өөр хэсгүүдэд оролцохоор сонгож болно.
Програмууд нь таны бодож байгаагаас ч илүү юм
Дасан зохицох чадвар, машин орчуулга, сэтгэл хөдлөлийн дүн шинжилгээ, текстийн хураангуй болон бусад олон төрлийн NLP даалгавруудыг даван туулах чадвартай учраас AI трансформаторууд сүүлийн жилүүдэд түгээмэл болж байна.
AI трансформаторыг хэл дээр суурилсан сонгодог програмуудаас гадна зураг таних, зөвлөмж өгөх систем, тэр байтугай эм илрүүлэх зэрэг төрөл бүрийн салбарт ашиглаж ирсэн.
AI трансформаторууд нь олон тооны асуудалтай газар болон өгөгдлийн төрлүүдэд тохируулж болох тул бараг хязгааргүй хэрэглээтэй. Нарийн төвөгтэй өгөгдлийн дараалалд дүн шинжилгээ хийх, урт хугацааны харилцааг тогтоох чадвартай хиймэл оюун ухааны трансформаторууд нь ойрын жилүүдэд хиймэл оюун ухааны хэрэглээний хөгжилд чухал түлхэц үзүүлэх хүчин зүйл байх болно.
Бусад мэдрэлийн сүлжээний архитектуртай харьцуулах
Оролтын дараалалд дүн шинжилгээ хийж, текст дэх алсын зайн харилцааг ойлгож чаддаг тул хиймэл оюун ухааны трансформаторууд нь бусад мэдрэлийн сүлжээний програмуудтай харьцуулахад байгалийн хэлийг боловсруулахад маш тохиромжтой байдаг.
Зарим мэдрэлийн сүлжээний архитектурууд, тухайлбал, эвхэгддэг мэдрэлийн сүлжээ (CNN) болон давтагдах мэдрэлийн сүлжээ (RNN) нь зураг эсвэл цагийн цувааны өгөгдөл гэх мэт бүтэцлэгдсэн оролтыг боловсруулахтай холбоотой ажлуудад илүү тохиромжтой байдаг.
Ирээдүй гэгээлэг харагдаж байна
AI трансформаторын ирээдүй гэрэлтэй харагдаж байна. Үргэлжилж буй судалгааны нэг чиглэл бол улам бүр төвөгтэй даалгавруудыг шийдвэрлэх чадвартай, аажмаар илүү хүчирхэг загваруудыг хөгжүүлэх явдал юм.
Түүгээр ч зогсохгүй AI трансформаторыг бусад хиймэл оюун ухаантай технологитой холбох оролдлого хийгдэж байна бэхжүүлэх сургалт, илүү дэвшилтэт шийдвэр гаргах чадварыг хангах.
Салбар бүр инновацийг жолоодох, өрсөлдөх чадварт хүрэхийн тулд хиймэл оюун ухааны чадавхийг ашиглахыг хичээдэг. Тиймээс хиймэл оюун ухааны трансформаторыг эрүүл мэнд, санхүү болон бусад салбарт төрөл бүрийн хэрэглээнд аажмаар оруулах болно.
AI трансформаторын технологийг үргэлжлүүлэн сайжруулж, эдгээр хүчирхэг хиймэл оюун ухааны хэрэгслүүд нь хүний хэл яриаг боловсруулах, ойлгох аргад хувьсгал хийх боломжтой бол ирээдүй гэрэлтэй харагдаж байна.
хариу үлдээх