කෘතිම බුද්ධිය අප සැලසුම් කරන සහ අන්තර්ගතය උත්පාදනය කරන ආකාරය පරිවර්තනය කරයි. මිනිසුන් Google හි සොයන දේවල සිට Netflix මත ඔවුන් අධික ලෙස නරඹන දේ දක්වා තොරතුරු සොයා ගන්නා ආකාරය කෙරෙහි ද එය බලපායි.
වඩාත් තීරණාත්මක ලෙස, අන්තර්ගත අලෙවිකරුවන් සඳහා, එය ඔබ බෙදා හරින දේ වැඩිදියුණු කිරීමට සහ පාරිභෝගික අභිප්රාය වඩා හොඳින් ගැලපෙන පරිදි සමහර ආකාරයේ අන්තර්ගත උත්පාදන ස්වයංක්රීය කිරීම සහ වත්මන් ද්රව්ය විශ්ලේෂණය කිරීමෙන් කණ්ඩායම් වර්ධනය වීමට ඉඩ සලසයි.
AI හි චලනය වන කොටස් කිහිපයක් තිබේ යන්ත්ර ඉගෙනීම ක්රියාවලීන්. ඔබ කවදා හෝ දක්ෂ සහායකයකුගෙන් (සිරි හෝ ඇලෙක්සා වැනි) ප්රශ්නයක් අසා තිබේද?
ප්රතිචාරය බොහෝ විට "ඔව්" විය හැකි අතර, එයින් ඇඟවෙන්නේ ඔබ දැනටමත් යම් මට්ටමක (NLP) ස්වභාවික භාෂා සැකසුම් පිළිබඳව හුරුපුරුදු බවයි.
ඇලන් ටියුරින්ග් සෑම තාක්ෂණික ශිල්පියෙක්ම අසා ඇති නමකි. සුප්රසිද්ධ ටියුරින් පරීක්ෂණය ප්රථම වරට 1950 දී සුප්රසිද්ධ ගණිතඥයෙකු සහ පරිගණක විද්යාඥයෙකු වන ඇලන් ටියුරින් විසින් නිර්මාණය කරන ලදී.
ඔහු තම කාර්යයේදී කියා සිටියේය පරිගණක යන්ත්රෝපකරණ සහ බුද්ධිය යන්ත්රයකට කෘත්රිම බුද්ධියක් ඇති බව, එයට පුද්ගලයෙකු සමඟ කතාබස් කර ඔහු මිනිසෙකු සමඟ කතාබස් කරන්නේ යැයි සිතීමට ඔහුව රවටා ගත හැකි නම්.
මෙය NLP තාක්ෂණය සඳහා පදනම ලෙස සේවය කළේය. කාර්යක්ෂම NLP පද්ධතියකට විමසුම සහ එහි සන්දර්භය ග්රහණය කර ගැනීමට, එය විශ්ලේෂණය කිරීමට, හොඳම ක්රියාමාර්ගය තෝරා ගැනීමට සහ පරිශීලකයාට තේරෙන භාෂාවකින් පිළිතුරු දීමට හැකි වේ.
දත්ත මත කාර්යයන් සම්පූර්ණ කිරීම සඳහා ලෝක ව්යාප්ත ප්රමිතීන්ට කෘතිම බුද්ධිය සහ යන්ත්ර ඉගෙනීමේ ක්රම ඇතුළත් වේ. කෙසේ වෙතත්, මිනිස් භාෂාව ගැන කුමක් කිව හැකිද?
ස්වභාවික භාෂා උත්පාදනය (NLG), ස්වභාවික භාෂා අවබෝධය (NLU) සහ ස්වභාවික භාෂා සැකසුම් (NLP) යන ක්ෂේත්ර සියල්ලම මෑත වසරවලදී විශාල අවධානයක් දිනා ඇත.
නමුත් තිදෙනාටම විවිධ වගකීම් ඇති බැවින් ව්යාකූලත්වය වළක්වා ගැනීම ඉතා වැදගත් වේ. බොහෝ අය විශ්වාස කරන්නේ ඔවුන් මෙම අදහස් සම්පූර්ණයෙන්ම වටහා ගන්නා බවයි.
ස්වාභාවික භාෂාව දැනටමත් නම්වල ඇති බැවින්, කෙනෙකු කරන්නේ එය සැකසීම, අවබෝධ කර ගැනීම සහ නිෂ්පාදනය කිරීමයි. මෙම වාක්ය ඛණ්ඩ එකිනෙකට මාරුවෙන් මාරුවට භාවිතා කරන ආකාරය අපට නිතර මුණගැසෙන විට, මඳක් ගැඹුරට යාම ප්රයෝජනවත් විය හැකි බව අපි තීරණය කළෙමු.
ප්රතිඵලයක් වශයෙන්, අපි ඒ එක් එක් දෙස සමීපව බැලීමෙන් පටන් ගනිමු.
ස්වභාවික භාෂා සැකසුම් යනු කුමක්ද?
ඕනෑම ස්වභාවික භාෂාවක් පරිගණක විසින් නිදහස් ආකෘති පාඨයක් ලෙස සැලකේ. දත්ත ඇතුළත් කිරීමේදී, ස්ථාවර ස්ථානවල ස්ථාවර මූල පද නොමැති බව එයින් කියවේ. ව්යුහගත නොවන භාෂාවට අමතරව, ස්වාභාවික භාෂාවට විවිධ ප්රකාශන විකල්ප ද ඇත. මෙම වාක්ය ඛණ්ඩ තුන උපමාවක් ලෙස ගන්න:
- කාලගුණය අද කොහොමද?
- අද වැස්සට ඉඩක් තියෙනවද?
- අද මට මගේ කුඩය ගෙන ඒමට අවශ්යද?
මේ සෑම ප්රකාශයකින්ම අසන්නේ පොදු සාධකය වන අද කාලගුණ අනාවැකිය ගැනය.
මිනිසුන් වශයෙන්, අපට වහාම පාහේ මෙම මූලික සම්බන්ධතා දැකීමට සහ සුදුසු ලෙස ක්රියා කළ හැකිය.
කෙසේ වෙතත්, මෙය අ පරිගණක සඳහා අභියෝගයක් සෑම ඇල්ගොරිතමයකටම නිශ්චිත ආකෘතියක් අනුගමනය කිරීමට ආදානය අවශ්ය වන අතර, ප්රකාශ තුනටම විවිධ ව්යුහයන් සහ ආකෘති ඇත.
පරිගණකයක් තේරුම් ගැනීමට උපකාර කිරීම සඳහා සෑම ස්වාභාවික භාෂාවකම සෑම වචන සංයෝජනයක් සඳහාම නීති සංග්රහ කිරීමට උත්සාහ කළහොත් ඉතා ඉක්මනින් දේවල් ඉතා අපහසු වනු ඇත. මෙම තත්වය තුළ NLP පින්තූරයට පිවිසෙයි.
ස්වභාවික භාෂා සැකසුම් (NLP), එය උත්සාහ කරයි ආදර්ශ ස්වභාවික මානව භාෂාව දත්ත, පරිගණක වාග් විද්යාවෙන් ආරම්භ විය.
මීට අමතරව, සැලකිය යුතු මානව යෙදවුම් ප්රමාණයක් සැකසීමේදී යන්ත්ර ඉගෙනීම සහ ගැඹුරු ඉගෙනුම් ප්රවේශයන් භාවිතා කිරීම කෙරෙහි NLP අවධානය යොමු කරයි. එය දර්ශනවාදය, වාග් විද්යාව, පරිගණක විද්යාව, තොරතුරු පද්ධති සහ සන්නිවේදනයේ නිතර භාවිතා වේ.
පරිගණක වාග් විද්යාව, වාක්ය විශ්ලේෂණ, කථන හඳුනාගැනීම, යන්ත්ර පරිවර්තනය සහ NLP හි අනෙකුත් උප ක්ෂේත්ර කිහිපයක් පමණි. ස්වාභාවික භාෂා සැකසුම් ක්රියා කිරීම සඳහා ව්යුහගත නොවන ද්රව්ය සුදුසු ආකෘතියක් හෝ ව්යුහගත පෙළක් බවට පරිවර්තනය කරයි.
පරිශීලකයා යමක් පවසන විට අදහස් කරන්නේ කුමක්ද යන්න තේරුම් ගැනීමට, එය ඇල්ගොරිතම ගොඩනඟා විශාල දත්ත ප්රමාණයක් භාවිතා කරමින් ආකෘතිය පුහුණු කරයි.
එය ක්රියාත්මක වන්නේ හඳුනාගැනීම සඳහා එකිනෙකට වෙනස් ආයතන කාණ්ඩගත කිරීමෙන් (ආත්තික හඳුනාගැනීම ලෙස හැඳින්වේ) සහ වචන රටා හඳුනාගැනීමෙනි. වචන රටා සොයා ගැනීමට Lemmatization, tokenization සහ stemming ශිල්පීය ක්රම භාවිතා කරයි.
තොරතුරු උපුටා ගැනීම, කටහඬ හඳුනාගැනීම, කථනයෙන් කොටසක් ටැග් කිරීම සහ විග්රහ කිරීම NLP කරන රැකියාවලින් කිහිපයක් පමණි.
සැබෑ ලෝකයේ, ඔන්ටොලොජි ජනාකීර්ණ කිරීම, භාෂා ආකෘති නිර්මාණය ඇතුළු කාර්යයන් සඳහා NLP භාවිතා වේ. මනෝ විශ්ලේෂණයකි, මාතෘකා නිස්සාරණය, නම් කරන ලද ආයතන හඳුනාගැනීම, කථනයේ කොටස් ටැග් කිරීම, සම්බන්ධතා නිස්සාරණය, යන්ත්ර පරිවර්තනය සහ ස්වයංක්රීය ප්රශ්නවලට පිළිතුරු සැපයීම.
ස්වභාවික භාෂා අවබෝධය යනු කුමක්ද?
ස්වභාවික භාෂා සැකසීමේ සුළු කොටසක් ස්වභාවික භාෂා අවබෝධයයි. භාෂාව සරල කළ පසු, පරිගණක මෘදුකාංගය තේරුම් ගත යුතුය, අර්ථය අඩු කළ යුතුය, සහ සමහර විට හැඟීම් විශ්ලේෂණය සිදු කළ යුතුය.
එකම පාඨයට අර්ථ කිහිපයක් තිබිය හැකිය, වාක්ය ඛණ්ඩ කිහිපයකට එකම අර්ථයක් තිබිය හැකිය, නැතහොත් තත්වය අනුව අර්ථය වෙනස් විය හැකිය.
NLU ඇල්ගොරිතම බොහෝ ප්රභවයන්ගෙන් පෙළ සැකසීමට පරිගණක ක්රම භාවිතා කරයි, එය වාක්ය ඛණ්ඩයක තේරුම දැන ගැනීම හෝ පුද්ගලයන් දෙදෙනෙකු අතර සංවාදයක් අර්ථකථනය කිරීම තරම් සංකීර්ණ විය හැක.
ඔබේ පාඨය යන්ත්රයෙන් කියවිය හැකි ආකෘතියක් බවට පරිවර්තනය වේ. එහි ප්රතිඵලයක් ලෙස, NLU විසින් පෙළ විකේතනය කිරීමට සහ ප්රතිඵලයක් ජනනය කිරීමට පරිගණක ශිල්පීය ක්රම භාවිතා කරයි.
පුද්ගලයන් දෙදෙනෙකු අතර සංවාදයක් අවබෝධ කර ගැනීම, යම්කිසි තත්වයක් ගැන යමෙකුට හැඟෙන ආකාරය තීරණය කිරීම සහ සමාන ස්වභාවයේ වෙනත් තත්වයන් වැනි විවිධ අවස්ථාවන්හිදී NLU යෙදිය හැක.
විශේෂයෙන්ම, NLU ග්රහණය කර ගැනීමට භාෂා මට්ටම් හතරක් ඇත:
- වාක්ය ඛණ්ඩය: ව්යාකරණ උචිත ලෙස භාවිතා කරන්නේද යන්න සහ වාක්ය එකලස් කරන්නේ කෙසේද යන්න තීරණය කිරීමේ ක්රියාවලිය මෙයයි. නිදසුනක් වශයෙන්, වාක්යයක අර්ථයක් තිබේද යන්න තීරණය කිරීම සඳහා එහි සන්දර්භය සහ ව්යාකරණ සැලකිල්ලට ගත යුතුය.
- අර්ථ ශාස්ත්රය: අප පෙළ පරීක්ෂා කරන විට, පුද්ගලයන් දෙදෙනෙකු අතර ක්රියා පදය හෝ වචන තේරීම වැනි සන්දර්භීය අර්ථ සූක්ෂ්මතා ඇත. මෙම තොරතුරු බිටු NLU ඇල්ගොරිතමයක් මඟින් එකම කථන වචනය භාවිතා කළ හැකි ඕනෑම අවස්ථාවක ප්රතිඵල සැපයීමට ද භාවිතා කළ හැක.
- වචන සංවේද විභේදනය: එය වාක්ය ඛණ්ඩයක එක් එක් වචනයේ තේරුම කුමක්දැයි සොයා බැලීමේ ක්රියාවලියයි. සන්දර්භය අනුව, එය පදයකට එහි අර්ථය ලබා දෙයි.
- ප්රායෝගික විශ්ලේෂණය: එය කාර්යයේ සැකසුම සහ අරමුණ අවබෝධ කර ගැනීමට උපකාරී වේ.
NLU සැලකිය යුතු ය දත්ත විද්යා .යන් මක්නිසාද යත්, එය නොමැතිව, චැට්බෝට් සහ කථන හඳුනාගැනීමේ මෘදුකාංග වැනි තාක්ෂණයන්ගෙන් අර්ථය උකහා ගැනීමේ හැකියාව ඔවුන්ට නොමැති බැවිනි.
සියල්ලට පසු, කථනය සක්රීය කළ බොට් සමඟ සංවාදයක් පැවැත්වීමට මිනිසුන් පුරුදු වී සිටිති; අනෙක් අතට, පරිගණකවල මෙම සුඛෝපභෝගී පහසුව නොමැත.
ඊට අමතරව, NLU හට ඔබට හැකි ආකාරයටම කථාවක හැඟීම් සහ අසභ්ය වචන හඳුනා ගත හැක. දත්ත විද්යාඥයින්ට NLU හි හැකියාවන් භාවිතා කරමින් විවිධ අන්තර්ගත ආකෘති ප්රයෝජනවත් ලෙස පරීක්ෂා කර පෙළ වර්ගීකරණය කළ හැකි බව මෙයින් ගම්ය වේ.
NLG ස්වභාවික භාෂා අවබෝධයට සෘජුව ප්රතිවිරුද්ධව ක්රියා කරයි, එය භාවිතා කළ හැකි දත්ත බවට පරිවර්තනය කිරීම සඳහා ව්යුහගත නොවන දත්ත සංවිධානය කිරීම සහ අර්ථවත් කිරීම අරමුණු කරයි. ඊළඟට, අපි NLG නිර්වචනය කර දත්ත විද්යාඥයින් ප්රායෝගික භාවිත අවස්ථා වලදී එය භාවිතා කරන ආකාරය ගවේෂණය කරමු.
ස්වභාවික භාෂා පරම්පරාව යනු කුමක්ද?
ස්වාභාවික භාෂා සැකසීමට ස්වභාවික භාෂා නිෂ්පාදනය ද ඇතුළත් වේ. පරිගණකවලට ස්වභාවික භාෂා නිෂ්පාදනය භාවිතයෙන් ලිවිය හැක, නමුත් ස්වභාවික භාෂා අවබෝධය කියවීමේ අවබෝධය කෙරෙහි අවධානය යොමු කරයි.
ඇතැම් දත්ත ආදානය භාවිතා කිරීමෙන්, NLG මානව භාෂාවෙන් ලිඛිත පිළිතුරක් නිර්මාණය කරයි. පෙළ සිට කථන සේවා මෙම පාඨය කථාව බවට පරිවර්තනය කිරීමට ද භාවිතා කළ හැක.
දත්ත විද්යාඥයින් NLG පද්ධතියක් දත්ත සමඟ සැපයූ විට, පද්ධතිය සංවාදයෙන් අවබෝධ කර ගත හැකි ආඛ්යාන නිපදවීමට දත්ත විශ්ලේෂණය කරයි.
සාරය වශයෙන්, NLG දත්ත කට්ටල අප දෙදෙනාටම තේරෙන භාෂාවක් බවට පරිවර්තනය කරයි, එය ස්වභාවික භාෂාව ලෙස හැඳින්වේ. එය ප්රවේශමෙන් අධ්යයනය කරන ලද සහ හැකි උපරිම ප්රමාණයට නිරවද්ය ප්රතිදානයක් සැපයිය හැකි වන පරිදි, NLG සැබෑ ජීවිතයේ මිනිසෙකුගේ අත්දැකීමක් ලබා දෙයි.
අප දැනටමත් සාකච්ඡා කර ඇති ඇලන් ටියුරිං ගේ සමහර ලේඛනවල සිට සොයා ගත හැකි මෙම ක්රමය, කුමන විෂය කුමක් වුවත් පරිගණකයක් ඔවුන් සමඟ පිළිගත හැකි සහ ස්වාභාවික ලෙස කතා කරන බව මිනිසුන්ට ඒත්තු ගැන්වීමට ඉතා වැදගත් වේ.
සමාගම තුළ සිටින සෑම කෙනෙකුටම භාවිතා කළ හැකි සංවාදාත්මක ආඛ්යාන නිෂ්පාදනය කිරීමට NLG භාවිතා කළ හැක.
ව්යාපාරික බුද්ධි උපකරණ පුවරු, ස්වයංක්රීය අන්තර්ගත නිෂ්පාදනය සහ වඩාත් ඵලදායී දත්ත විශ්ලේෂණය සඳහා බහුලව භාවිතා වන NLG, අලෙවිකරණය, මානව සම්පත්, විකුණුම් සහ තොරතුරු තාක්ෂණය වැනි අංශවල සේවය කරන වෘත්තිකයන්ට විශාල උපකාරයක් විය හැකිය.
NLP හි NLU සහ NGL ඉටු කරන කාර්යභාරය කුමක්ද?
දත්ත විද්යාඥයින් විසින් NLP භාවිතා කළ හැක කෘතිම බුද්ධිය ව්යුහගත නොවන දත්ත කට්ටල පරිගණකවලට කථනයට සහ පෙළට පරිවර්තනය කළ හැකි ආකෘති බවට පරිවර්තනය කිරීමට වෘත්තිකයන්ට හැකිය - ඔබ ඔවුන්ගෙන් අසන ප්රශ්නයකට සන්දර්භානුකූලව සුදුසු පිළිතුරු පවා ඔවුන්ට ගොඩනගා ගත හැකිය (සිරි සහ ඇලෙක්සා වැනි අතථ්ය සහායකයින් වෙත නැවත සිතන්න).
නමුත් NLU සහ NLG NLP වලට ගැලපෙන්නේ කොහේද?
ඔවුන් සියල්ලන්ම විවිධ භූමිකාවන් ඉටු කළද, මෙම විෂයයන් තුනටම පොදු දෙයක් ඇත: ඒවා සියල්ලම ස්වභාවික භාෂාව සමඟ කටයුතු කරයි. ඉතින්, තුන අතර වෙනස කුමක්ද?
එය මේ ආකාරයෙන් සලකා බලන්න: මිනිසුන් භාවිතා කරන භාෂාව අවබෝධ කර ගැනීම NLU අරමුණු කරන අතර, NLP වඩාත් තීරණාත්මක දත්ත හඳුනාගෙන ඒවා පෙළ සහ අංක වැනි දේවලට සංවිධානය කරයි.
එය හානිකර සංකේතාත්මක සන්නිවේදනයන් සඳහා පවා සහාය විය හැක. අනෙක් අතට, NLG, අපට අර්ථවත් ලෙස අර්ථ දැක්විය හැකි කථා නිෂ්පාදනය කිරීමට ව්යුහගත නොකළ දත්ත එකතුවක් භාවිතා කරයි.
NLP හි අනාගතය
NLP හි වර්තමාන වාණිජ භාවිතයන් බොහොමයක් ඇතත්, බොහෝ ව්යාපාරවලට එය පුළුල් ලෙස භාවිතා කිරීමට අපහසු වී ඇත.
මෙය බොහෝ දුරට පහත සඳහන් ගැටළු නිසා ය: ආයතනවලට නිතර බලපාන එක් ගැටළුවක් වන්නේ තොරතුරු අධි බර, වැඩි දත්ත සමුදායක් මධ්යයේ තීරණාත්මක දත්ත කට්ටල මොනවාදැයි හඳුනා ගැනීම ඔවුන්ට අභියෝග කරයි.
මීට අමතරව, NLP ඵලදායී ලෙස භාවිතා කිරීම සඳහා, දත්ත වලින් වටිනා තොරතුරු උකහා ගැනීමට හැකි වන ඇතැම් ක්රම සහ උපකරණ ආයතනවලට නිතර අවශ්ය වේ.
අවසාන වශයෙන් නොව අවම වශයෙන්, NLP මගින් ඇඟවෙන්නේ සමාගම් NLP භාවිතා කරන විවිධ දත්ත මූලාශ්රවලින් දත්ත එකතු කිරීම් හැසිරවීමට සහ රඳවා ගැනීමට අවශ්ය නම් ඔවුන්ට අති නවීන යන්ත්රෝපකරණ අවශ්ය බවයි.
සමාගම් විශාල ප්රමාණයක් NLP සම්මත කර ගැනීමෙන් බාධා ඇති වුවද, මෙම සංවිධානම අවසානයේ NLP, NLU සහ NLG වැලඳගෙන ඔවුන්ගේ රොබෝවරුන්ට යථාර්ථවාදී, මානව-සමාන අන්තර්ක්රියා සහ සාකච්ඡා පවත්වා ගැනීමට හැකි වනු ඇතැයි පෙනේ.
අර්ථ ශාස්ත්රය සහ වාක්ය ඛණ්ඩය යනු බොහෝ අවධානයට ලක්වන පර්යේෂණයේ NLP උප ක්ෂේත්ර දෙකකි.
නිගමනය
අප මෙතෙක් සාකච්ඡා කළ දේ සැලකිල්ලට ගනිමින්: කටහඬට සහ ලිවීමට අරුතක් ලබා දීම, NLU ස්වභාවික භාෂාව කියවා තේරුම් ගනී, NLG යන්ත්ර ආධාරයෙන් නව භාෂාවක් සංවර්ධනය කර ප්රතිදානය කරයි.
NLU විසින් කරුණු උකහා ගැනීම සඳහා භාෂාව භාවිතා කරන අතර NLG ස්වභාවික භාෂාව නිපදවීමට NLU විසින් ලබා ගන්නා ලද තීක්ෂ්ණ බුද්ධිය භාවිතා කරයි.
Apple, Google, සහ Amazon වැනි තොරතුරු තාක්ෂණ ක්ෂේත්රයේ ප්රධාන ක්රීඩකයින් NLP හි දිගටම ආයෝජනය කිරීමට බලා සිටින්න. පද්ධති සංවර්ධනය මිනිස් හැසිරීම් අනුකරණය කරන බව.
ඔබමයි