අද අපි ස්වභාවික භාෂා සැකසුම් ක්ෂේත්රයේ විප්ලවයක් දකිමු. තවද, කෘතිම බුද්ධිය නොමැතිව අනාගතයක් නොමැති බව සහතිකයි. අපි දැනටමත් විවිධ AI "සහායකයින්" භාවිතා කරමින් සිටිමු.
Chatbots අපගේ නඩුවේ හොඳම උදාහරණ වේ. ඔවුන් සන්නිවේදනයේ නව යුගය නියෝජනය කරයි. එහෙත්, ඔවුන් එතරම් විශේෂ වන්නේ කුමක් ද?
වත්මන් chatbots හට ස්වභාවික භාෂා විමසීම් අවබෝධ කර ගැනීමට සහ පිළිතුරු දීමට මානව විශේෂඥයින්ට සමාන නිරවද්යතාවයකින් සහ විස්තරයකින් හැකිය. ක්රියාවලියට යන යාන්ත්රණ ගැන ඉගෙන ගැනීම සතුටට කරුණකි.
බකල් කරන්න, අපි එය පිටුපස ඇති තාක්ෂණය සොයා ගනිමු.
තාක්ෂණයට කිමිදීම
AI ට්රාන්ස්ෆෝමර් මෙම ප්රදේශයේ ප්රධාන මූල පදයකි. ඔවුන් වගේ ස්නායු ජාල ස්වභාවික භාෂා සැකසුම් විප්ලවීය වෙනසක් ඇති කර ඇත. යථාර්ථයේ දී, AI ට්රාන්ස්ෆෝමර් සහ ස්නායුක ජාල අතර සැළකිය යුතු සැලසුම් සමාන්තර පවතී.
දෙකම සෑදී ඇත්තේ ආදාන දත්ත ප්රතිදානය ලෙස අනාවැකි බවට පරිවර්තනය කිරීම සඳහා ගණනය කිරීම් මාලාවක් සිදු කරන සැකසුම් ඒකක ස්ථර කිහිපයකිනි. මෙම ලිපියෙන්, අපි AI ට්රාන්ස්ෆෝමර්වල බලය සහ ඒවා අප අවට ලෝකය වෙනස් කරන ආකාරය දෙස බලමු.
ස්වභාවික භාෂා සැකසීමේ හැකියාව
අපි මූලික කරුණු වලින් පටන් ගනිමු. අපට එය සෑම තැනකම පාහේ අසන්නට ලැබේ. නමුත්, ස්වාභාවික භාෂා සැකසීම යනු කුමක්ද?
එය කොටසකි කෘතිම බුද්ධිය එය ස්වභාවික භාෂාව භාවිතයෙන් මිනිසුන්ගේ සහ යන්ත්රවල අන්තර්ක්රියා කෙරෙහි අවධානය යොමු කරයි. ඉලක්කය වන්නේ පරිගණකවලට මිනිස් භාෂාව අර්ථවත් හා අව්යාජ ආකාරයකින් වටහා ගැනීමට, අර්ථ නිරූපණය කිරීමට සහ නිෂ්පාදනය කිරීමට ඉඩ දීමයි.
කථන හඳුනාගැනීම, භාෂා පරිවර්තනය, මනෝ විශ්ලේෂණයකි, සහ පෙළ සාරාංශ කිරීම NLP යෙදුම් සඳහා උදාහරණ වේ. අනෙක් අතට, සාම්ප්රදායික NLP ආකෘති, වාක්ය ඛණ්ඩයක වචන අතර ඇති සංකීර්ණ සබැඳි ග්රහණය කර ගැනීමට අරගල කර ඇත. මෙය බොහෝ NLP කාර්යයන්හි ඉහළ මට්ටමේ නිරවද්යතාවයක් කළ නොහැකි විය.
AI ට්රාන්ස්ෆෝමර් පින්තූරයට ඇතුළු වන විට මෙය සිදු වේ. ස්වයං-අවධානය ක්රියාවලියක් මගින්, ට්රාන්ස්ෆෝමර් දිගුකාලීන පරායත්තතා සහ වාක්ය ඛණ්ඩයක වචන අතර සම්බන්ධතා වාර්තා කළ හැකිය. මෙම ක්රමය මඟින් ආදාන අනුපිළිවෙලෙහි විවිධ කොටස් වලට සහභාගී වීමට තෝරා ගැනීමට ආකෘතියට හැකියාව ලැබේ. එබැවින්, එය වාක්ය ඛණ්ඩයක එක් එක් වචනයේ සන්දර්භය සහ අර්ථය තේරුම් ගත හැකිය.
හරියටම ට්රාන්ස්ෆෝමර් මාදිලි මොනවාද?
AI ට්රාන්ස්ෆෝමරයක් යනු a ගැඹුරු ඉගෙනුම විවිධ වර්ගයේ තොරතුරු තේරුම් ගෙන සකස් කරන ගෘහ නිර්මාණ ශිල්පය. වාක්ය ඛණ්ඩයක විවිධ වචන සම්බන්ධ වී ඇති ආකාරය හෝ රූපයක විවිධ කොටස් එකට ගැළපෙන ආකාරය වැනි බහුවිධ තොරතුරු එකිනෙකට සම්බන්ධ වන්නේ කෙසේද යන්න තීරණය කිරීමේදී එය විශිෂ්ටයි.
එය ක්රියා කරන්නේ තොරතුරු කුඩා කොටස් වලට බෙදීමෙන් පසුව එම සියලුම සංරචක එකවර බැලීමෙනි. එය හරියට කුඩා රොබෝවරු ගණනාවක් දත්ත අවබෝධ කර ගැනීමට සහයෝගයෙන් කටයුතු කරනවා වැනිය. ඊළඟට, එය සියල්ල දැනගත් පසු, එය ප්රතිචාරයක් හෝ ප්රතිදානයක් සැපයීම සඳහා සියලුම සංරචක නැවත එකලස් කරයි.
AI ට්රාන්ස්ෆෝමර් ඉතා වටිනා ය. ඔවුන්ට විවිධ තොරතුරු අතර සන්දර්භය සහ දිගුකාලීන සම්බන්ධතා ග්රහණය කර ගත හැක. භාෂා පරිවර්තනය, සාරාංශ කිරීම සහ ප්රශ්නවලට පිළිතුරු සැපයීම වැනි කාර්යයන් සඳහා මෙය ඉතා වැදගත් වේ. ඉතින්, AI ට ඉටු කළ හැකි බොහෝ රසවත් දේවල් පිටුපස සිටින්නේ ඔවුන් ය!
ඔබට අවශ්ය වන්නේ අවධානය පමණි
"අවධානය ඔබට අවශ්ය සියල්ල" යන උපසිරැසිය ට්රාන්ස්ෆෝමර් ආකෘතිය යෝජනා කළ 2017 ප්රකාශනයකට යොමු කරයි. එය ස්වභාවික භාෂා සැකසීමේ (NLP) විනය විප්ලවීය වෙනසක් සිදු කළේය.
මෙම පර්යේෂණයේ කතුවරුන් ප්රකාශ කළේ ට්රාන්ස්ෆෝමර් ආකෘතියේ ස්වයං-අවධානය යාන්ත්රණය සාම්ප්රදායික පුනරාවර්තනයේ භූමිකාව භාර ගැනීමට තරම් ශක්තිමත් බවයි convolutional ස්නායු ජාල NLP කාර්යයන් සඳහා භාවිතා වේ.
හරියටම ස්වයං අවධානය යනු කුමක්ද?
එය අනාවැකි නිපදවීමේදී විවිධ ආදාන අනුක්රමික කොටස් වෙත අවධානය යොමු කිරීමට ආකෘතියට ඉඩ සලසන ක්රමයකි.
වෙනත් වචන වලින් කිවහොත්, ස්වයං-අවධානය මඟින් අනෙක් සියලුම සංරචක සම්බන්ධයෙන් එක් එක් මූලද්රව්ය සඳහා අවධානය යොමු කිරීමේ ලකුණු සමූහයක් ගණනය කිරීමට ආකෘතියට හැකි වන අතර, එක් එක් ආදාන මූලද්රව්යයේ වැදගත්කම සමතුලිත කිරීමට ආකෘතියට ඉඩ සලසයි.
ට්රාන්ස්ෆෝමර් මත පදනම් වූ ප්රවේශයක් තුළ, ස්වයං අවධානය පහත පරිදි ක්රියාත්මක වේ:
ආදාන අනුක්රමය ප්රථමයෙන් දෛශික මාලාවකට කාවැදී ඇත, එක් එක් අනුක්රමික සාමාජිකයෙකු සඳහා එකක්.
අනුපිළිවෙලෙහි එක් එක් මූලද්රව්යය සඳහා, ආකෘතිය දෛශික කට්ටල තුනක් නිර්මාණය කරයි: විමසුම් දෛශිකය, ප්රධාන දෛශිකය සහ අගය දෛශිකය.
විමසුම් දෛශිකය සියලුම ප්රධාන දෛශික සමඟ සංසන්දනය කර ඇති අතර සමානතා තිත් නිෂ්පාදනයක් භාවිතයෙන් ගණනය කෙරේ.
අනුපිළිවෙලෙහි එක් එක් කොටසෙහි සාපේක්ෂ වැදගත්කම දැක්වෙන බර කට්ටලයක් උත්පාදනය කරන softmax ශ්රිතයක් භාවිතයෙන් ලැබෙන අවධානය ලකුණු සාමාන්යකරණය වේ.
අවසාන නිමැවුම් නිරූපණය නිර්මාණය කිරීම සඳහා, අගය දෛශික අවධානය බරින් ගුණ කර සාරාංශ කරනු ලැබේ.
ස්වයං-අවධානය භාවිතා කරන ට්රාන්ස්ෆෝමර් මත පදනම් වූ ආකෘති, ස්ථාවර දිග සන්දර්භ කවුළු මත රඳා නොසිට ආදාන අනුපිළිවෙලෙහි දිගු දුර සම්බන්ධතා සාර්ථකව ග්රහණය කර ගත හැකි අතර, ඒවා ස්වභාවික භාෂා සැකසුම් යෙදුම් සඳහා විශේෂයෙන් ප්රයෝජනවත් වේ.
උදාහරණයක්
අපට ටෝකන හයක ආදාන අනුපිළිවෙලක් ඇතැයි උපකල්පනය කරන්න: "පූසා පැදුරේ වාඩි විය." සෑම ටෝකනයක්ම දෛශිකයක් ලෙස නිරූපණය කළ හැකි අතර, ආදාන අනුපිළිවෙල පහත පරිදි දැකිය හැක:
ඊළඟට, එක් එක් ටෝකනය සඳහා, අපි දෛශික කට්ටල තුනක් සාදන්නෙමු: විමසුම් දෛශිකය, යතුරු දෛශිකය සහ අගය දෛශිකය. මෙම දෛශික ලබා දීම සඳහා කාවැද්දූ ටෝකන් දෛශිකය උගත් බර න්යාස තුනකින් ගුණ කරනු ලැබේ.
පළමු ටෝකනය "The" සඳහා, උදාහරණයක් ලෙස, විමසුම, යතුර සහ අගය දෛශික වනු ඇත:
විමසුම් දෛශිකය: [0.4, -0.2, 0.1]
ප්රධාන දෛශිකය: [0.2, 0.1, 0.5]
අගය දෛශිකය: [0.1, 0.2, 0.3]
ආදාන අනුපිළිවෙලෙහි එක් එක් ටෝකන යුගල අතර අවධානය යොමු කිරීමේ ලකුණු ස්වයං-අවධානය යාන්ත්රණය මගින් ගණනය කෙරේ. උදාහරණයක් ලෙස, ටෝකන 1 සහ 2 "The" අතර ඇති අවධානය ලකුණු ඔවුන්ගේ විමසුමේ සහ ප්රධාන දෛශිකවල තිත් නිෂ්පාදනය ලෙස ගණනය කෙරේ:
අවධානය ලකුණු = dot_product (ටෝකන් 1 හි විමසුම් දෛශිකය, ටෝකනය 2 හි ප්රධාන දෛශිකය)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
මෙම අවධානය ලකුණු අනෙක් ඒවාට අනුපිළිවෙලින් එක් එක් ටෝකනයෙහි සාපේක්ෂ අදාළත්වය පෙන්වයි.
අවසාන වශයෙන්, එක් එක් ටෝකනය සඳහා, නිමැවුම් නිරූපණය නිර්මාණය කරනු ලබන්නේ, අවධානය ලකුණු මගින් තීරණය කරන ලද බර සමඟ අගය දෛශිකවල බරිත එකතුවක් ලබා ගැනීමෙනි. උදාහරණයක් ලෙස, පළමු ටෝකනය "The" සඳහා නිමැවුම් නිරූපණය වනුයේ:
ටෝකනය 1 සඳහා ප්රතිදාන දෛශිකය = (ටෝකනය 1 සමඟ අවධානය යොමු කිරීමේ ලකුණු) * ටෝකනය 2 සඳහා අගය දෛශිකය
+ (ටෝකන් 3 සමඟ අවධානය යොමු කරන්න) * ටෝකනය 3 සඳහා අගය දෛශිකය
+ (ටෝකන් 4 සමඟ අවධානය යොමු කරන්න) * ටෝකනය 4 සඳහා අගය දෛශිකය
+ (ටෝකන් 5 සමඟ අවධානය යොමු කරන්න) * ටෝකනය 5 සඳහා අගය දෛශිකය
+ (ටෝකන් 6 සමඟ අවධානය යොමු කරන්න) * ටෝකනය 6 සඳහා අගය දෛශිකය
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
ස්වයං අවධානයේ ප්රතිඵලයක් වශයෙන්, ප්රතිදාන අනුපිළිවෙල නිර්මාණය කිරීමේදී ට්රාන්ස්ෆෝමර් මත පදනම් වූ ආකෘතියට ආදාන අනුපිළිවෙලෙහි විවිධ කොටස් වලට සහභාගී වීමට තෝරා ගත හැකිය.
යෙදුම් ඔබ සිතනවාට වඩා වැඩි ය
ඒවායේ අනුවර්තනය වීමේ හැකියාව සහ යන්ත්ර පරිවර්තනය, හැඟීම් විශ්ලේෂණය, පෙළ සාරාංශ කිරීම සහ තවත් බොහෝ NLP කාර්යයන් හැසිරවීමේ හැකියාව නිසා, AI ට්රාන්ස්ෆෝමර් මෑත වසරවල ජනප්රියත්වයට පත්ව ඇත.
AI ට්රාන්ස්ෆෝමර් සම්භාව්ය භාෂා පාදක යෙදුම් වලට අමතරව පින්තූර හඳුනාගැනීම, නිර්දේශ පද්ධති, සහ මත්ද්රව්ය සොයාගැනීම් ඇතුළු විවිධ වසම්වල භාවිතා කර ඇත.
AI ට්රාන්ස්ෆෝමර් බොහෝ ගැටළු සහිත ප්රදේශ සහ දත්ත වර්ග වලට ගැලපෙන බැවින් ඒවාට අසීමිත භාවිතයන් ඇත. AI ට්රාන්ස්ෆෝමර්, සංකීර්ණ දත්ත අනුපිළිවෙල විශ්ලේෂණය කිරීමට සහ දිගු කාලීන සබඳතා ග්රහණය කර ගැනීමට ඇති හැකියාව, ඉදිරි වසරවලදී AI යෙදුම් සංවර්ධනය සඳහා සැලකිය යුතු ගාමක සාධකයක් වනු ඇත.
අනෙකුත් ස්නායුක ජාල ගෘහ නිර්මාණ ශිල්පය සමඟ සැසඳීම
ඒවාට ආදාන අනුක්රම විශ්ලේෂණය කිරීමට සහ පෙළ තුළ දිගු-පරාස සම්බන්ධතා ග්රහණය කර ගත හැකි බැවින්, අනෙකුත් ස්නායුක ජාල යෙදුම් හා සසඳන විට AI ට්රාන්ස්ෆෝමර් ස්වභාවික භාෂා සැකසුම් සඳහා විශේෂයෙන් හොඳින් ගැලපේ.
අනෙක් අතට, convolutional neural networks (CNNs) සහ Recurrent neural networks (RNNs) වැනි සමහර ස්නායුක ජාල ගෘහ නිර්මාණ ශිල්පය, පින්තූර හෝ කාල ශ්රේණි දත්ත වැනි ව්යුහගත ආදානය සැකසීමට සම්බන්ධ කාර්යයන් සඳහා වඩාත් සුදුසු වේ.
අනාගතය දීප්තිමත්ව පෙනේ
AI ට්රාන්ස්ෆෝමර්වල අනාගතය දීප්තිමත් බව පෙනේ. අඛණ්ඩ අධ්යයනයේ එක් අංශයක් වන්නේ වඩ වඩාත් සංකීර්ණ කාර්යයන් හැසිරවිය හැකි ක්රමානුකූලව වඩා බලවත් ආකෘති සංවර්ධනය කිරීමයි.
එපමණක් නොව, AI ට්රාන්ස්ෆෝමර් වෙනත් AI තාක්ෂණයන් සමඟ සම්බන්ධ කිරීමට උත්සාහ කරමින් පවතී ශක්තිමත් කිරීමේ ඉගෙනීම, වඩා දියුණු තීරණ ගැනීමේ හැකියාවන් සැපයීමට.
සෑම කර්මාන්තයක්ම උත්සාහ කරන්නේ AI හි විභවය නවෝත්පාදනයන් ගෙන යාමට සහ තරඟකාරී පැත්තක් ලබා ගැනීමට භාවිතා කිරීමටයි. එබැවින්, AI ට්රාන්ස්ෆෝමර් සෞඛ්ය සේවා, මූල්ය සහ වෙනත් අය ඇතුළු විවිධ යෙදුම්වලට ක්රමානුකූලව ඇතුළත් වීමට ඉඩ ඇත.
AI ට්රාන්ස්ෆෝමර් තාක්ෂණයේ අඛණ්ඩ වැඩිදියුණු කිරීම් සහ මෙම ප්රබල AI මෙවලම් සඳහා මිනිසුන් ක්රියා කරන ආකාරය සහ භාෂාව අවබෝධ කර ගැනීමේ විප්ලවයක් ඇති කිරීමට ඇති හැකියාව සමඟින් අනාගතය දීප්තිමත් බව පෙනේ.
ඔබමයි