Хиймэл оюун ухаан бидний төлөвлөж, контент үүсгэх арга замыг өөрчилж байна. Энэ нь хүмүүс Google-ээс хайж байгаа зүйлээсээ эхлээд Netflix-ээс хэтрүүлэн үзэх хүртэл материалыг хэрхэн олж илрүүлэхэд нөлөөлдөг.
Хамгийн чухал нь агуулгын зах зээлд оролцогчдын хувьд энэ нь зарим төрлийн контент бүтээх ажлыг автоматжуулж, одоогийн материалд дүн шинжилгээ хийснээр таны хүргэж буй зүйлээ сайжруулж, хэрэглэгчийн зорилгод илүү нийцүүлэн хөгжих боломжийг олгодог.
AI-д хэд хэдэн хөдөлгөөнт хэсгүүд байдаг ба машин суралцах үйл явц. Та ухаалаг туслахаас (Siri эсвэл Alexa гэх мэт) асуулт асууж байсан уу?
Хариулт нь "тийм" байх магадлалтай бөгөөд энэ нь таныг байгалийн хэлний боловсруулалтыг тодорхой түвшинд (NLP) мэддэг болсон гэсэн үг юм.
Алан түлшээр гэдэг нь техникч бүрийн сонссон нэр юм. Алдарт Тьюрингийн тестийг 1950 онд нэрт математикч, компьютерийн эрдэмтэн Алан Тюринг анх зохион бүтээжээ.
Тэрээр ажилдаа мэдэгджээ Тооцоолох машин ба тагнуул Хэрэв машин нь хүнтэй ярилцаж, түүнийг хүнтэй чатлаж байна гэж хуурч чаддаг бол хиймэл оюун ухаантай байдаг.
Энэ нь NLP технологийн үндэс суурь болсон. Үр дүнтэй NLP систем нь асуулга болон түүний агуулгыг ойлгох, дүн шинжилгээ хийх, хамгийн сайн үйл ажиллагааны чиглэлийг сонгох, хэрэглэгчдэд ойлгомжтой хэлээр хариулах боломжтой болно.
Өгөгдлийн даалгаврыг гүйцэтгэх дэлхийн стандартад хиймэл оюун ухаан, машин сургалтын арга техник орно. Харин хүний хэл яриа яах вэ?
Байгалийн хэл үүсгэх (NLG), байгалийн хэл ойлгох (NLU), байгалийн хэл боловсруулах (NLP) зэрэг салбарууд сүүлийн жилүүдэд ихээхэн анхаарал татаж байна.
Гэхдээ гурвуулаа өөр өөр үүрэг хариуцлага хүлээдэг тул төөрөгдүүлэхгүй байх нь маш чухал юм. Олон хүмүүс эдгээр санааг бүхэлд нь ойлгодог гэдэгт итгэдэг.
Нэрэнд байгалийн хэл аль хэдийн оршдог тул хүн үүнийг боловсруулж, ойлгож, үйлдвэрлэх явдал юм. Эдгээр хэллэгүүд хоорондоо харилцан адилгүй хэрэглэгддэг тул бид бага зэрэг гүнзгийрүүлэх нь тустай гэж шийдсэн.
Тиймээс, тус бүрийг нарийвчлан авч үзэх замаар эхэлцгээе.
Байгалийн хэлний боловсруулалт гэж юу вэ?
Аливаа байгалийн хэлийг компьютерууд чөлөөт хэлбэрийн текст гэж үздэг. Үүнээс үзэхэд өгөгдөл оруулах үед тогтмол газар дээр тогтсон түлхүүр үг байдаггүй. Байгалийн хэл нь бүтэцгүй байхаас гадна илэрхийлэлийн олон сонголттой байдаг. Эдгээр гурван хэллэгийг жишээ болгон ав:
- Өнөөдөр цаг агаар ямар байна?
- Өнөөдөр бороо орох боломж байна уу?
- Өнөөдөр намайг шүхрээ авчрахыг шаардаж байна уу?
Эдгээр мэдэгдэл бүр нь өнөөдрийн цаг агаарын урьдчилсан мэдээний талаар асууж байгаа бөгөөд энэ нь нийтлэг зүйл юм.
Хүмүүсийн хувьд бид эдгээр үндсэн холболтыг шууд харж, зохих ёсоор үйлдэж чадна.
Гэсэн хэдий ч энэ нь компьютерт зориулсан сорилт Учир нь алгоритм бүр оролтыг тодорхой форматыг дагаж мөрдөхийг шаарддаг бөгөөд бүх гурван мэдэгдэл нь өөр өөр бүтэц, форматтай байдаг.
Хэрэв бид компьютерийг ойлгоход нь туслахын тулд байгалийн хэл бүрийн үгийн хослол бүрийн дүрмийг кодлохыг оролдвол удахгүй бүх зүйл маш хэцүү болно. Ийм нөхцөлд NLP зураг руу ордог.
Үүнийг оролддог байгалийн хэлний боловсруулалт (NLP). хүний төрөлхийн хэлний загвар тооцооллын хэл шинжлэлээс гаралтай өгөгдөл.
Нэмж дурдахад, NLP нь хүний оролцоог ихээхэн хэмжээгээр боловсруулахын зэрэгцээ машин суралцах, гүнзгий суралцах арга барилыг ашиглахад анхаарлаа төвлөрүүлдэг. Энэ нь ихэвчлэн философи, хэл шинжлэл, компьютерийн шинжлэх ухаан, мэдээллийн систем, харилцаа холбоо зэрэгт ашиглагддаг.
Тооцооллын хэл шинжлэл, синтаксын шинжилгээ, яриа таних, машины орчуулга болон NLP-ийн бусад дэд салбарууд нь цөөхөн юм. Байгалийн хэлний боловсруулалт нь ажиллахын тулд бүтэцгүй материалыг зохих формат эсвэл бүтэцтэй текст болгон хувиргадаг.
Хэрэглэгч ямар нэгэн зүйл хэлэхэд юу гэсэн үг болохыг ойлгохын тулд алгоритмыг бүтээж, асар их хэмжээний өгөгдөл ашиглан загварыг сургадаг.
Энэ нь ялгах аж ахуйн нэгжүүдийг бүлэглэн таних (байгууллагыг таних гэж нэрлэдэг) болон үгийн хэв маягийг таних замаар ажилладаг. Үгийн хэв маягийг олохын тулд лемматжуулалт, токенизаци, ишний аргуудыг ашигладаг.
Мэдээллийг задлах, дуу хоолойг таних, ярианы хэсгийг тэмдэглэх, задлан шинжлэх зэрэг нь NLP-ийн хийдэг цөөн хэдэн ажлууд юм.
Бодит ертөнцөд NLP-ийг онтологи, хэлийг загварчлах гэх мэт ажлуудад ашигладаг. сэтгэл хөдлөлийн шинжилгээ, сэдвийг задлах, нэрлэсэн аж ахуйн нэгжийг таних, ярианы хэсгүүдийг тэмдэглэх, холболтыг задлах, машин орчуулга, автоматжуулсан асуултанд хариулах.
Байгалийн хэлний ойлголт гэж юу вэ?
Байгалийн хэлний боловсруулалтын багахан хэсэг нь байгалийн хэлний ойлголт юм. Хэл хялбаршуулсаны дараа компьютерийн программ хангамж нь ойлгох, утгыг нь гаргах, магадгүй мэдрэмжийн шинжилгээ хийх ёстой.
Нэг текст хэд хэдэн утгатай байж болно, хэд хэдэн хэллэг ижил утгатай байж болно, эсвэл нөхцөл байдлаас шалтгаалан утга нь өөрчлөгдөж болно.
NLU алгоритмууд нь оролтын текстийг ойлгохын тулд олон эх сурвалжаас авсан текстийг боловсруулахдаа тооцоолох аргыг ашигладаг бөгөөд энэ нь өгүүлбэр ямар утгатай болохыг мэдэхтэй адил энгийн эсвэл хоёр хүний яриаг тайлбарлахтай адил төвөгтэй байж болно.
Таны текстийг машинаар уншигдах формат болгон хувиргасан. Үүний үр дүнд NLU нь текстийг тайлж, үр дүнг гаргахын тулд тооцоолох техникийг ашигладаг.
NLU-ийг хоёр хүний хоорондын яриаг ойлгох, тодорхой нөхцөл байдлын талаар хэн нэгэнд хэрхэн хандаж байгааг тодорхойлох, мөн ижил төстэй бусад нөхцөл байдалд ашиглаж болно.
Ялангуяа NLU-г ойлгох дөрвөн хэлний түвшин байдаг:
- Синтакс: Энэ нь дүрмийг зөв ашиглаж байгаа эсэх, өгүүлбэрийг хэрхэн нэгтгэж байгааг тодорхойлох үйл явц юм. Жишээлбэл, өгүүлбэр нь утга учиртай эсэхийг тодорхойлохын тулд тухайн өгүүлбэрийн агуулга, дүрмийг харгалзан үзэх ёстой.
- Утга зүй: Текстийг судалж үзэхэд үйл үгийн тенор эсвэл хоёр хүний хоорондох үгийн сонголт зэрэг контекст утгын нюансууд байдаг. Эдгээр бит мэдээллийг NLU алгоритмаар ашиглаж, ижил яриа ашиглаж болох аливаа хувилбараас үр дүнг гаргаж болно.
- Үгийн утгыг ялгах: Энэ нь хэллэг дэх үг бүр ямар утгатай болохыг олж мэдэх үйл явц юм. Нөхцөл байдлаас хамааран энэ нь нэр томьёоны утгыг өгдөг.
- Прагматик дүн шинжилгээ: Энэ нь ажлын нөхцөл, зорилгыг ойлгоход тусалдаг.
NLU нь чухал ач холбогдолтой мэдээллийн эрдэмтэд Учир нь үүнгүйгээр тэд чатбот болон яриа таних программ зэрэг технологиос утгыг гаргаж авах чадваргүй байдаг.
Эцсийн эцэст хүмүүс ярианы функцтэй роботтой яриа өрнүүлэхэд дассан; Харин компьютерт ийм хялбар тансаг байдал байдаггүй.
Нэмж дурдахад, NLU нь яриан дахь сэтгэл хөдлөл, хараалын үгсийг таны чадах чинээгээрээ таньж чаддаг. Энэ нь өгөгдөл судлаачид NLU-ийн чадавхийг ашиглан янз бүрийн агуулгын форматыг судалж, текстийг ангилах боломжтой гэсэн үг юм.
NLG нь бүтэцгүй өгөгдлийг ашиглах боломжтой өгөгдөл болгон хөрвүүлэхийн тулд тэдгээрийг цэгцлэх, ойлгох зорилготой байгалийн хэлний ойлголттой шууд зөрчилддөг. Дараа нь NLG-ийг тодорхойлж, практик хэрэглээний тохиолдолд өгөгдөл судлаачид үүнийг хэрхэн ашигладаг талаар судалж үзье.
Байгалийн хэлний үүсэлт гэж юу вэ?
Байгалийн хэлний боловсруулалт нь мөн байгалийн хэлний үйлдвэрлэлийг агуулдаг. Компьютер нь байгалийн хэлний үйлдвэрлэлийг ашиглан бичиж чаддаг боловч байгалийн хэлний ойлголт нь уншиж ойлгоход чиглэдэг.
Тодорхой өгөгдөл оруулах замаар NLG нь хүний хэлээр бичсэн хариултыг бий болгодог. Текстээс ярианы үйлчилгээ мөн энэ текстийг яриа болгон хувиргахад ашиглаж болно.
Өгөгдөл судлаачид NLG системийг өгөгдөлөөр хангах үед систем нь харилцан яриагаар дамжуулан ойлгож болохуйц өгүүлэмж гаргахын тулд өгөгдөлд дүн шинжилгээ хийдэг.
Үндсэндээ NLG нь өгөгдлийн багцыг бидний хоёуланг нь ойлгодог хэл рүү хөрвүүлдэг бөгөөд үүнийг байгалийн хэл гэж нэрлэдэг. NLG нь маш нарийн судлагдсан, боломжийн хэмжээнд үнэн зөв гаргалгаа өгөхийн тулд бодит хүний туршлагаар хангагдсан байдаг.
Бидний өмнө нь хэлэлцсэн Алан Тьюрингийн зарим зохиолоос улбаатай энэ арга нь ямар сэдвээс үл хамааран компьютер тэдэнтэй үнэмшилтэй, жам ёсны байдлаар ярилцаж байна гэж хүмүүст итгүүлэхэд маш чухал юм.
NLG-ийг байгууллагууд компани доторх хүн бүр ашиглаж болох ярианы хүүрнэл гаргахад ашиглаж болно.
Бизнесийн мэдээллийн хяналтын самбар, автоматжуулсан контент үйлдвэрлэх, илүү үр дүнтэй өгөгдөлд дүн шинжилгээ хийхэд ихэвчлэн ашиглагддаг NLG нь маркетинг, хүний нөөц, борлуулалт, мэдээллийн технологи зэрэг хэлтэст ажилладаг мэргэжилтнүүдэд ихээхэн тус болдог.
NLU болон NGL нь NLP-д ямар үүрэг гүйцэтгэдэг вэ?
NLP-ийг өгөгдөл судлаачид ашиглаж болно хиймэл оюун Мэргэжилтнүүд бүтэцгүй өгөгдлийн багцыг компьютерууд яриа болон текст рүү хөрвүүлэх хэлбэр болгон хувиргах - тэд ч гэсэн таны асуусан асуултад контекст тохирсон хариултуудыг бүтээх боломжтой (Siri, Alexa гэх мэт виртуал туслахуудыг дахин бодоорой).
Гэхдээ NLU болон NLG нь NLP-д хаана тохирох вэ?
Хэдийгээр тэд бүгд өөр өөр үүрэг гүйцэтгэдэг ч эдгээр гурван шинжлэх ухаанд нэг нийтлэг зүйл байдаг: тэд бүгд байгалийн хэлтэй холбоотой байдаг. Тэгэхээр энэ гурвын ялгаа юу вэ?
Үүнийг эргэцүүлэн бодоорой: NLU нь хүмүүсийн ашигладаг хэлийг ойлгохыг зорьдог бол NLP нь хамгийн чухал өгөгдлийг тодорхойлж, текст, тоо гэх мэт зүйл болгон зохион байгуулдаг.
Энэ нь бүр аюултай шифрлэгдсэн харилцаа холбоонд тусалж чадна. Нөгөө талаас NLG нь бидний утга учиртай гэж тайлбарлах түүхүүдийг гаргахын тулд бүтэцгүй мэдээллийн цуглуулгыг ашигладаг.
NLP-ийн ирээдүй
Хэдийгээр NLP нь олон тооны арилжааны хэрэглээтэй боловч олон бизнес эрхлэгчид үүнийг өргөн хүрээнд хэрэгжүүлэхэд хэцүү байдаг.
Энэ нь ихэвчлэн дараах асуудлуудаас шалтгаалж байна: Байгууллагуудад байнга нөлөөлдөг нэг асуудал бол мэдээллийн хэт ачаалал бөгөөд энэ нь эцэс төгсгөлгүй мэт санагдах олон өгөгдлийн далайд аль өгөгдлийн багц чухал болохыг тодорхойлоход бэрхшээлтэй болгодог.
Нэмж дурдахад, NLP-ийг үр дүнтэй ашиглахын тулд байгууллагууд өгөгдлөөс үнэ цэнэтэй мэдээллийг олж авах боломжийг олгодог тодорхой арга, тоног төхөөрөмж шаарддаг.
Эцэст нь хэлэхэд, NLP нь NLP-ийг ашиглан янз бүрийн мэдээллийн эх сурвалжаас цуглуулсан мэдээллийн цуглуулгатай ажиллах, хадгалахыг хүсвэл компаниуд хамгийн сүүлийн үеийн техник хэрэгсэл шаарддаг гэсэн үг юм.
Ихэнх пүүсүүд NLP-ийг нэвтрүүлэхэд саад болж байгаа хэдий ч эдгээр байгууллагууд эцэст нь роботууддаа бодитой, хүнтэй төстэй харилцан үйлчлэл, хэлэлцүүлгийг үргэлжлүүлэх боломжийг олгохын тулд NLP, NLU, NLG-ийг хүлээн зөвшөөрөх бололтой.
Семантик ба синтакс нь NLP-ийн судалгааны хоёр дэд салбар бөгөөд маш их анхаарал хандуулж байна.
Дүгнэлт
Өнөөг хүртэл бидний ярилцсан зүйлийг анхаарч үзвэл: Дуу хоолой, бичихэд утга учир өгөх нь NLU нь байгалийн хэлийг уншиж, ойлгодог бөгөөд NLG нь машинуудын тусламжтайгаар шинэ хэлийг хөгжүүлж, гаргадаг.
Хэлийг NLU баримт гаргаж авахад ашигладаг бол NLG нь NLU-ийн олж авсан ойлголтыг байгалийн хэлийг бий болгоход ашигладаг.
Apple, Google, Amazon зэрэг мэдээллийн технологийн салбарын томоохон тоглогчид NLP-д үргэлжлүүлэн хөрөнгө оруулалт хийхээс болгоомжил. системийг хөгжүүлэх хүний зан үйлийг дуурайдаг.
хариу үлдээх