иктишофї сунъӣ тарзи банақшагирӣ ва тавлиди мундариҷаро тағир медиҳад. Ин инчунин таъсир мерасонад, ки чӣ тавр одамон маводро кашф мекунанд, аз он чизе, ки онҳо дар Google ҷустуҷӯ мекунанд то он чизе, ки дар Netflix тамошо мекунанд.
Муҳимтар аз ҳама, барои фурӯшандагони мундариҷа, он ба дастаҳо имкон медиҳад, ки тавассути автоматикунонии баъзе намудҳои тавлиди мундариҷа ва таҳлили маводи ҷорӣ барои беҳтар кардани он чизе, ки шумо пешкаш мекунед ва мувофиқат ба нияти муштариён беҳтар аст.
Дар AI якчанд қисмҳои ҳаракаткунанда мавҷуданд ва омӯзиши машқҳо равандҳо. Оё шумо ягон бор ба ёрдамчии оқил (ба монанди Siri ё Alexa) савол додаед?
Ҷавоб эҳтимолан "ҳа" аст, ки ин маънои онро дорад, ки шумо аллакай бо коркарди забони табиӣ дар баъзе сатҳҳо (NLP) шиносед.
Алан Тюринг номест, ки онро ҳар як техникӣ шунидааст. Санҷиши маъруфи Тюринг бори аввал соли 1950 аз ҷониби математик ва олими маъруф Алан Тюринг таҳия шудааст.
Вай дар кори худ даъво кард Мошинҳои ҳисоббарорӣ ва иктишофӣ ки машина ба таври сунъй доно аст, ки агар вай бо одам сУхбат карда, уро фиреб дихад, ки вай бо одам чат карда истодааст.
Ин ҳамчун асос барои технологияи NLP хизмат мекард. Системаи самараноки NLP метавонад дархост ва контексти онро дарк кунад, онро таҳлил кунад, роҳи беҳтарини амалро интихоб кунад ва бо забоне, ки корбар мефаҳмад, ҷавоб диҳад.
Стандартҳои умумиҷаҳонии иҷрои вазифаҳо оид ба додаҳо зеҳни сунъӣ ва усулҳои омӯзиши мошинро дар бар мегиранд. Аммо дар бораи забони инсон чӣ гуфтан мумкин аст?
Соҳаҳои тавлиди забони табиӣ (NLG), фаҳмиши забони табиӣ (NLU) ва коркарди забони табиӣ (NLP) ҳама дар солҳои охир таваҷҷӯҳи зиёд пайдо кардаанд.
Аммо азбаски ин се масъулиятҳои гуногун доранд, пешгирӣ кардани нофаҳмиҳо муҳим аст. Бисёриҳо боварӣ доранд, ки онҳо ин ғояҳоро пурра дарк мекунанд.
Азбаски дар номҳо забони табиӣ аллакай мавҷуд аст, ҳама кораш коркард, дарк ва тавлиди он аст. Мо тасмим гирифтем, ки каме амиқтар рафтан муфид хоҳад буд, аммо бо назардошти он ки мо то чӣ андоза зуд-зуд бо ин ибораҳо ба ҷои ҳамдигар истифодашаванда дучор мешавем.
Аз ин рӯ, биёед бо дидани ҳар яки онҳо оғоз кунем.
Коркарди забони табиӣ чист?
Ҳар як забони табиӣ аз ҷониби компютерҳо матни шакли озод ҳисобида мешавад. Аз ин бармеояд, ки ҳангоми ворид кардани маълумот дар ҷойҳои муқарраршуда калимаҳои калидӣ вуҷуд надоранд. Илова ба сохтор надоштан, забони табиӣ дорои имконоти гуногуни ифода низ мебошад. Ин се ибораро ҳамчун мисол гиред:
- Ҳаво имрӯз чӣ гуна аст?
- Оё имрӯз эҳтимоли борон вуҷуд дорад?
- Оё имрӯз талаб мекунад, ки ман чатрамро биёрам?
Ҳар яке аз ин изҳоротҳо дар бораи пешгӯии обу ҳавои имрӯза мепурсанд, ки он чизи умумӣ аст.
Ҳамчун одамон, мо метавонем дарҳол ин робитаҳои бунёдиро бубинем ва ба таври мувофиқ амал кунем.
Аммо, ин як мушкилот барои компютерҳо зеро ҳар як алгоритм вурудро риояи формати мушаххасро талаб мекунад ва ҳар се изҳорот сохтор ва форматҳои гуногун доранд.
Ва агар мо кӯшиш кунем, ки қоидаҳоро барои ҳар як калима дар ҳар як забони табиӣ рамзгузорӣ кунем, то ба компютер дар фаҳмиш кӯмак расонем, корҳо хеле душвор хоҳанд шуд. NLP дар ин вазъият ба расм қадам мегузорад.
Коркарди забони табиӣ (NLP), ки кӯшиш мекунад намунаи забони табиии инсон маълумот, ки аз забоншиносии ҳисоббарорӣ сарчашма мегирад.
Илова бар ин, NLP ба истифодаи омӯзиши мошинсозӣ ва равишҳои омӯзиши амиқ ҳангоми коркарди миқдори зиёди саҳми инсон тамаркуз мекунад. Он аксар вақт дар фалсафа, забоншиносӣ, илми информатика, системаҳои иттилоотӣ ва коммуникатсия истифода мешавад.
Забоншиносии компютерӣ, таҳлили синтаксис, шинохти нутқ, тарҷумаи мошинӣ ва дигар зерсоҳаҳои NLP танҳо чандеанд. Коркарди забони табиӣ маводи сохторнашударо ба формати мувофиқ ё матни сохторӣ табдил медиҳад, то кор кунад.
Барои фаҳмидани он ки корбар ҳангоми чизе гуфтан чӣ маъно дорад, он алгоритмро месозад ва моделро бо истифода аз миқдори зиёди маълумот таълим медиҳад.
Он тавассути гурӯҳбандии объектҳои ҷудогона барои муайянсозӣ (бо номи шинохти субъект маълум) ва бо роҳи шинохти намунаҳои калима амал мекунад. Барои пайдо кардани қолабҳои калимаҳо усулҳои лемматизатсия, токенизатсия ва стемминг истифода мешаванд.
Истихроҷи иттилоот, шинохти овоз, аломатгузории қисмати нутқ ва таҳлил танҳо чанде аз корҳое мебошанд, ки NLP мекунад.
Дар ҷаҳони воқеӣ, NLP барои вазифаҳо истифода мешавад, аз ҷумла популятсияи онтология, моделсозии забон, таҳлили таҳлил, истихроҷи мавзӯъ, шинохти объекти номбаршуда, барчаспкунии қисмҳои нутқ, истихроҷи пайвастшавӣ, тарҷумаи мошинӣ ва ҷавоби автоматии саволҳо.
Фаҳмиши забони табиӣ чист?
Қисми ками коркарди забони табиӣ фаҳмиши забони табиӣ мебошад. Пас аз содда кардани забон, нармафзори компютерӣ бояд дарк кунад, маънои онро барорад ва эҳтимолан ҳатто таҳлили эҳсосотро анҷом диҳад.
Як матн метавонад якчанд маъно дошта бошад, якчанд ибора метавонад як маъно дошта бошад ва ё вобаста ба вазъият маъно метавонад таѓйир ёбад.
Алгоритмҳои NLU усулҳои ҳисобкуниро барои коркарди матн аз бисёр сарчашмаҳо барои фаҳмидани матни воридотӣ истифода мебаранд, ки он метавонад ҳамчун фаҳмидани маънои ибора оддӣ бошад ё ҳамчун тафсири гуфтугӯи байни ду шахс мураккаб бошад.
Матни шумо ба формати бо мошин хондашаванда табдил дода мешавад. Дар натиҷа, NLU барои кушодани матн ва тавлид кардани натиҷа усулҳои ҳисоббарориро истифода мебарад.
NLU-ро дар ҳолатҳои гуногун истифода бурдан мумкин аст, ба монанди фаҳмидани сӯҳбати байни ду нафар, муайян кардани он ки касе дар бораи як ҳолати муайян чӣ гуна ҳис мекунад ва дигар ҳолатҳои ба ин монанд.
Махсусан, барои фаҳмидани NLU чор сатҳи забон вуҷуд дорад:
- Синтаксис: Ин раванди муайян кардани он аст, ки оё грамматика дуруст истифода мешавад ва чӣ гуна ҷумлаҳо якҷоя карда мешаванд. Масалан, контекст ва грамматикаи ҷумла бояд ба назар гирифта шавад, то муайян кунад, ки оё он маъно дорад.
- Семантика: Вақте ки мо матнро тафтиш мекунем, нозукиҳои маънои контекстӣ ба монанди тенори феъл ё интихоби калима байни ду шахс вуҷуд доранд. Ин битҳои иттилоотро инчунин аз ҷониби як алгоритми NLU истифода бурдан мумкин аст, то натиҷаҳоро аз ҳар як сенарияе, ки дар он ҳамон як калимаи гуфтугӯӣ метавон истифода бурд, таъмин кунад.
- Муайян кардани маънои калима: Ин раванди фаҳмидани он аст, ки ҳар як калима дар ибора чӣ маъно дорад. Вобаста ба контекст, он ба истилоҳ маънои худро медиҳад.
- Таҳлили прагматикӣ: Он барои фаҳмидани мақом ва ҳадафи кор кӯмак мекунад.
NLU муҳим аст олимони маълумот зеро, бидуни он, онҳо қобилияти истихроҷи маъно аз технологияҳо ба монанди чатботҳо ва нармафзори шинохти суханро надоранд.
Баъд аз ҳама, одамон барои сӯҳбат бо боти нутқӣ одат кардаанд; Компютерҳо, аз тарафи дигар, ин боҳашамати осониро надоранд.
Илова бар ин, NLU метавонад эҳсосот ва дашномҳоро дар нутқ маҳз ҳамон тавре ки шумо метавонед эътироф кунед. Ин маънои онро дорад, ки олимони маълумот метавонанд форматҳои гуногуни мундариҷаро ба таври муфид тафтиш кунанд ва матнро бо истифода аз имкониятҳои NLU тасниф кунанд.
NLG дар муқобили фаҳмиши забони табиӣ кор мекунад, ки ҳадафи он ташкил ва фаҳмидани додаҳои сохторнашуда бо мақсади табдил додани он ба додаҳои қобили истифода мебошад. Сипас, биёед NLG-ро муайян кунем ва роҳҳои истифодаи олимони маълумотро дар ҳолатҳои истифодаи амалӣ омӯзем.
Насли забони табиӣ чист?
Коркарди забони табиӣ инчунин истеҳсоли забони табииро дар бар мегирад. Компютерҳо метавонанд бо истифода аз истеҳсоли забони табиӣ нависед, аммо фаҳмиши забони табиӣ ба фаҳмиши хониш тамаркуз мекунад.
Бо истифода аз вуруди муайяни маълумот, NLG ҷавоби хаттӣ бо забони инсониро эҷод мекунад. Хидматҳои матн ба нутқ инчунин метавонад барои ба нутқ табдил додани ин матн истифода шавад.
Вақте ки олимони маълумот системаи NLG-ро бо маълумот таъмин мекунанд, система маълумотро таҳлил мекунад, то ривоятҳоеро тавлид кунад, ки онҳоро тавассути муколама фаҳмидан мумкин аст.
Аслан, NLG маҷмӯи додаҳоро ба забоне табдил медиҳад, ки ҳардуи мо онро мефаҳмем, забони табиӣ номида мешавад. Барои он ки он метавонад натиҷаеро, ки бодиққат омӯхта ва дақиқ ба ҳадди имкон имконпазир бошад, таъмин намояд, NLG бо таҷрибаи ҳаёти воқеии инсон дода шудааст.
Ин усул, ки аз баъзе навиштаҳои Алан Тюринг, ки мо дар боло баррасӣ кардем, мушоҳида мешавад, барои итминон додани одамон, ки компютер новобаста аз мавзӯъи мавриди назар бо онҳо ба таври қобили эътимод ва табиӣ сӯҳбат мекунад, муҳим аст.
NLG метавонад аз ҷониби созмонҳо барои таҳияи нақлҳои гуфтугӯӣ истифода шавад, ки онҳоро ҳама дар дохили ширкат истифода бурда метавонанд.
NLG, ки бештар барои панелҳои иктишофии тиҷорӣ, истеҳсоли мундариҷаи автоматӣ ва таҳлили муассири маълумот истифода мешавад, метавонад ба мутахассисоне, ки дар бахшҳои маркетинг, захираҳои инсонӣ, фурӯш ва технологияҳои иттилоотӣ кор мекунанд, кӯмаки калон расонад.
NLU ва NGL дар NLP чӣ нақш мебозанд?
NLP метавонад аз ҷониби олимони маълумот истифода шавад ва мағзи маслуӣ мутахассисон барои табдил додани маҷмӯаҳои додаҳои сохторнашуда ба шаклҳое, ки компютерҳо метавонанд ба сухан ва матн тарҷума кунанд - онҳо ҳатто метавонанд ҷавобҳое созанд, ки ба саволе, ки шумо ба онҳо медиҳед, мувофиқат кунанд (боз ба ёварони виртуалӣ ба монанди Siri ва Alexa фикр кунед).
Аммо дар куҷо NLU ва NLG ба NLP мувофиқат мекунанд?
Гарчанде ки ҳамаи онҳо нақшҳои гуногун доранд, ҳар сеи ин фанҳо як чизи умумӣ доранд: ҳама бо забони табиӣ сарукор доранд. Пас, фарқияти байни ин се чист?
Инро чунин баррасӣ кунед: дар ҳоле ки NLU ҳадафи фаҳмидани забоне, ки одамон истифода мебаранд, NLP маълумоти муҳимтаринро муайян мекунад ва онро ба чизҳое ба монанди матн ва рақамҳо ташкил мекунад.
Он ҳатто метавонад бо иртиботи зарарноки рамзгузоришуда кӯмак кунад. Аз тарафи дигар, NLG барои таҳияи ҳикояҳое, ки мо онҳоро маънидод карда метавонем, маҷмӯаҳои маълумоти сохторнашударо истифода мебарад.
Ояндаи NLP
Гарчанде ки NLP истифодаи зиёди тиҷоратӣ дорад, ба бисёр корхонаҳо қабули он ба таври васеъ душвор буд.
Ин асосан аз сабаби масъалаҳои зерин аст: Як масъалае, ки аксар вақт ба созмонҳо таъсир мерасонад, сарбории иттилоотӣ мебошад, ки барои онҳо муайян кардани он, ки кадом маҷмӯи додаҳо дар байни баҳри ба назар беохири маълумоти бештар муҳиманд, душвор аст.
Илова бар ин, барои самаранок истифода бурдани NLP, созмонҳо аксар вақт ба усулҳо ва таҷҳизоти муайян ниёз доранд, ки ба онҳо имкон медиҳанд, ки маълумоти арзишмандро аз маълумот гиранд.
Ниҳоят, вале на камтар аз он, NLP маънои онро дорад, ки ширкатҳо ба техникаи муосир ниёз доранд, агар онҳо мехоҳанд коллексияи маълумотро аз манбаъҳои гуногуни маълумот бо истифода аз NLP коркард ва нигоҳ доранд.
Сарфи назар аз монеаҳое, ки аксарияти ширкатҳоро аз қабули NLP нигоҳ медоранд, эҳтимол ба назар мерасад, ки ин созмонҳо дар ниҳоят NLP, NLU ва NLG-ро фаро мегиранд, то ба роботҳои худ имкон диҳанд, ки муошират ва мубоҳисаҳои воқеии инсониро нигоҳ доранд.
Семантика ва синтаксис ду зерсоҳаи тадқиқоти NLP мебошанд, ки таваҷҷӯҳи зиёд доранд.
хулоса
Бо назардошти он чизе, ки мо то ҳол муҳокима кардем: Таъин кардани маъно ба овоз ва навиштан, NLU забони табииро мехонад ва мефаҳмад ва NLG бо ёрии мошинҳо забони навро таҳия ва мебарорад.
Забон аз ҷониби NLU барои истихроҷи далелҳо истифода мешавад, дар ҳоле ки NLG фаҳмишҳои аз ҷониби NLU гирифташударо барои тавлиди забони табиӣ истифода мебарад.
Аз бозигарони асосии саноати IT ба монанди Apple, Google ва Amazon эҳтиёт шавед, то сармоягузорӣ ба NLP-ро идома диҳанд, то онҳо тавонанд системахоро инкишоф диханд ки рафтори одамро тақлид мекунанд.
Дин ва мазҳаб