adimen artifiziala edukiak planifikatzeko eta sortzeko modua eraldatzen ari da. Jendeak materiala nola deskubritzen duen ere eragiten du, Google-n bilatzen dutenetik Netflix-en ikusten dutena.
Garrantzitsuagoa dena, edukien merkaturatzaileentzat, taldeak haztea ahalbidetzen du eduki mota batzuk automatizatuz eta egungo materiala aztertuz, entregatzen ari zarena hobetzeko eta bezeroen asmoa hobeto bat etortzeko.
AIan hainbat pieza mugikor daude eta makina ikaskuntza prozesuak. Inoiz egin al diozu galderarik laguntzaile adimendun bati (adibidez, Siri edo Alexa)?
Erantzuna ziurrenik "bai" izango da, eta horrek iradokitzen du dagoeneko ezagutzen duzula hizkuntza naturalaren prozesamendua mailaren batean (NLP).
Alan Turing teknikari guztiek entzun duten izena da. Turing Test ezaguna 1950ean asmatu zuen Alan Turing matematikari eta informatikari ospetsuak.
aldarrikatu zuen bere lanean Informatika-makineria eta adimena makina bat adimen artifiziala dela pertsona batekin hitz egin eta gizaki batekin berriketan ari dela pentsatzera engainatzen badu.
Honek NLP teknologiaren oinarri gisa balio izan zuen. NLP sistema eraginkor batek kontsulta eta bere testuingurua atzeman, aztertu, jardunbiderik onena aukeratu eta erabiltzaileak ulertuko duen hizkuntza batean erantzuteko gai izango da.
Datuei buruzko zereginak burutzeko mundu osoko estandarrak adimen artifiziala eta ikaskuntza automatikoko teknikak dira. Eta giza hizkuntzari buruz, ordea?
Hizkuntza naturalaren sorkuntza (NLG), hizkuntza naturalaren ulermenaren (NLU) eta hizkuntza naturalaren prozesamenduaren (NLP) arloek arreta handia izan dute azken urteotan.
Baina hiruek erantzukizun desberdinak dituztenez, nahasmena saihestea ezinbestekoa da. Askok uste dute ideia hauek bere osotasunean ulertzen dituztela.
Izenetan hizkuntza naturala dagoeneko presente dagoenez, egiten ari dena da hura prozesatzea, ulertzea eta ekoiztea. Dena den, apur bat sakontzea lagungarria izan zitekeela erabaki genuen, elkarren artean erabiltzen diren esaldi hauek zenbaterainoko maiztasunarekin topo egiten ditugun ikusita.
Ondorioz, has gaitezen horietako bakoitza gertutik aztertzen.
Zer da Natural Language Processing?
Ordenagailuek edozein hizkuntza natural forma libreko testutzat hartzen dute. Horren ondorioz, datuak sartzen diren bitartean, ez dago gako-hitz finkorik leku finkoetan. Egiturarik gabekoa izateaz gain, hizkuntza naturalak hainbat adierazpen aukera ere baditu. Hartu hiru esaldi hauek ilustrazio gisa:
- Eguraldia nola dago gaur?
- Gaur euririk egiteko aukerarik ba al du?
- Gaur egun nire aterkia ekartzea eskatzen al du?
Adierazpen horietako bakoitzak gaurko eguraldiaren iragarpenaz galdetzen du, izendatzaile komuna dena.
Gizakiok, ia berehala ikusi ditzakegu oinarrizko konexio horiek eta egoki joka ditzakegu.
Hala ere, hau a ordenagailuentzako erronka izan ere, algoritmo bakoitzak sarrerak formatu zehatz bati jarraitzea eskatzen du, eta hiru adierazpenek egitura eta formatu desberdinak dituzte.
Eta gauzak oso zailak izango dira oso laster, baldin eta hitz-konbinazio bakoitzaren arauak kodetzen saiatzen bagara hizkuntza natural guztietan ordenagailu bati ulertzen laguntzeko. NLP egoera honetan irudian sartzen da.
Hizkuntza naturalaren prozesamendua (NLP), saiatzen dena giza hizkuntza natural eredua datuak, hizkuntzalaritza konputazionaletik sortuak.
Gainera, NLP ikaskuntza automatikoa eta ikaskuntza sakoneko ikuspegiak erabiltzean zentratzen da, giza ekarpen kopuru garrantzitsua prozesatzen duen bitartean. Filosofian, hizkuntzalaritzan, informatikan, informazio sistemetan eta komunikazioetan maiz erabiltzen da.
Hizkuntzalaritza konputazionala, sintaxiaren analisia, hizketa-ezagutzea, itzulpen automatikoa eta NLPren beste azpieremu batzuk batzuk baino ez dira. Hizkuntza naturalaren prozesamenduak egituratu gabeko materiala formatu egokian edo testu egituratu batean eraldatzen du funtzionatzeko.
Erabiltzaileak ezer esaten duenean zer esan nahi duen ulertzeko, algoritmoa eraikitzen du eta eredua entrenatzen du datu kopuru handiak erabiliz.
Hainbat entitate multzokatuz funtzionatzen du identifikaziorako (entitateen aitorpena izenez ezagutzen dena) eta hitz-ereduak ezagutuz. Lematizazioa, tokenizazioa eta stemming teknikak erabiltzen dira hitz ereduak aurkitzeko.
Informazioa ateratzea, ahots-ezagutzea, hizketa zatiaren etiketatzea eta analizatzea dira NLPk egiten dituen lanetako batzuk.
Mundu errealean, NLP lanetarako erabiltzen da, besteak beste, ontologiaren populazioa, hizkuntza modelatzea, sentimenduen azterketa, gaiaren erauzketa, izendun entitateen aitorpena, hizketa zatien etiketatzea, konexioen erauzketa, itzulpen automatikoa eta galderen erantzun automatikoa.
Zer da hizkuntza naturalaren ulermena?
Hizkuntza naturalaren prozesamenduaren zati txiki bat hizkuntza naturalaren ulermena da. Hizkuntza sinplifikatu ondoren, software informatikoak ulertu, esanahia ondorioztatu behar du eta, agian, sentimenduen analisia ere egin behar du.
Testu berak hainbat esanahi izan ditzake, hainbat sintagmak esanahi bera izan dezakete edo esanahia alda daiteke egoeraren arabera.
NLU algoritmoek iturri askotako testua prozesatzeko metodo konputazionalak erabiltzen dituzte sarrerako testua ulertzeko, esaldi batek zer esan nahi duen jakitea bezain oinarrizkoa izan daiteke edo bi pertsonen arteko elkarrizketa interpretatzea bezain konplikatua.
Zure testua makinaz irakur daitekeen formatu batean bihurtzen da. Ondorioz, NLUk teknika konputazionalak erabiltzen ditu testua deszifratzeko eta emaitza bat sortzeko.
NLU hainbat egoeratan aplika daiteke, hala nola bi pertsonen arteko elkarrizketa bat ulertzean, egoera jakin bati buruz norbait nola sentitzen den eta izaera antzeko beste egoera batzuetan.
Bereziki, lau hizkuntza maila daude NLU ulertzeko:
- Sintaxia: gramatika behar bezala erabiltzen den eta esaldiak nola biltzen diren zehazteko prozesua da. Adibidez, esaldi baten testuingurua eta gramatika kontuan hartu behar dira zentzua duen zehazteko.
- Semantika: Testua aztertzen dugunean, testuinguruko esanahi ñabardurak daude, esaterako, aditz-tenorea edo bi pertsonen arteko hitz-aukera. Informazio zati hauek NLU algoritmo batek ere erabil ditzake ahozko hitz bera erabil daitekeen edozein eszenatokitako emaitzak emateko.
- Hitzaren zentzuaren desanbiguazioa: esaldi bateko hitz bakoitzak zer esan nahi duen jakiteko prozesua da. Testuinguruaren arabera, termino bati bere esanahia ematen dio.
- Analisi pragmatikoa: lanaren ezarpena eta helburua ulertzen laguntzen du.
NLU garrantzitsua da datu zientzialariek izan ere, hori gabe, txatbot-ak eta ahotsa ezagutzeko softwarea bezalako teknologietatik esanahia ateratzeko gaitasunik ez dute.
Azken finean, jendea ohituta dago hizketarako gaitutako bot batekin elkarrizketa bat edukitzera; ordenagailuek, berriz, ez dute erraztasunaren luxu hori.
Horrez gain, NLUk emozioak eta profanak antzeman ditzake hitzaldi batean, ahal duzun moduan. Horrek esan nahi du datu-zientzialariek hainbat eduki formatu aztertu ditzaketela eta testuak sailkatu ditzaketela NLUren gaitasunak erabiliz.
NLG-k hizkuntza naturalaren ulermenaren aurka egiten du, eta egituratu gabeko datuak antolatzea eta zentzua ematea du helburu, datu erabilgarri bihurtzeko. Ondoren, defini ditzagun NLG eta arakatu ditzagun datu-zientzialariek erabilera kasu praktikoetan erabiltzeko moduak.
Zer da Natural Language Generation?
Hizkuntza naturalaren prozesamenduak hizkuntza naturalaren ekoizpena ere barne hartzen du. Ordenagailuek hizkuntza naturalaren ekoizpena erabiliz idatzi dezakete, baina hizkuntza naturalaren ulermenak irakurketaren ulermenean oinarritzen da.
Zenbait datu sarrera erabiliz, NLG-k erantzun idatzi bat sortzen du giza hizkuntzan. Testutik hizketarako zerbitzuak testu hau hizkera bihurtzeko ere erabil daiteke.
Datu-zientzialariek NLG sistema bat datuak hornitzen dituztenean, sistemak datuak aztertzen ditu elkarrizketaren bidez uler daitezkeen narrazioak sortzeko.
Funtsean, NLG-k datu-multzoak biok ulertzen dugun hizkuntza batean bihurtzen ditu, hizkuntza naturala deritzona. Arretaz aztertutako eta ahal den neurrian zehatza den irteera eman ahal izateko, NLG bizitza errealeko gizaki baten esperientziaz hornituta dago.
Metodo hau, dagoeneko eztabaidatu ditugun Alan Turingen idazki batzuetatik atzerantz daitekeena, ezinbestekoa da gizakiak konbentzitzeko ordenagailu bat haiekin modu sinesgarri eta naturalean hizketan ari dela, edozein gai izanda ere.
NLG erakundeek erabil dezakete enpresa barruko guztiek erabil ditzaketen elkarrizketa-kontakizunak sortzeko.
NLG, negozio adimeneko paneletarako, edukien ekoizpen automatikorako eta datuen analisi eraginkorretarako gehien erabiltzen dena, laguntza handia izan daiteke marketina, giza baliabideak, salmentak eta informazio teknologia bezalako dibisioetan lan egiten duten profesionalentzat.
Zein rol betetzen dute NLUk eta NGLk NLPn?
NLP datu-zientzialariek erabil dezakete eta adimen artifizialeko profesionalek egituratu gabeko datu-multzoak ordenagailuek hizketan eta testuan itzul ditzaketen inprimakietan bihurtzeko; baita egiten diezun galdera bati testuinguruan egokiak diren erantzunak ere eraiki ditzakete (pentsatu berriro Siri eta Alexa bezalako laguntzaile birtualetan).
Baina non sartzen dira NLU eta NLG NLPn?
Nahiz eta denek rol desberdinak betetzen dituzten, hiru diziplina hauek gauza bat dute komunean: denek hizkuntza naturala jorratzen dute. Orduan, zein da hiruren arteko bereizketa?
Demagun honela: NLUk gizakiek erabiltzen duten hizkuntza ulertzea helburu duen bitartean, NLP-k datu erabakigarrienak identifikatzen ditu eta testu eta zenbaki gisa antolatzen ditu.
Komunikazio enkriptatutako kaltegarriekin ere lagun dezake. NLGk, berriz, egituratu gabeko datuen bildumak erabiltzen ditu esanguratsutzat interpreta ditzakegun istorioak sortzeko.
NLPren etorkizuna
NLP-k gaur egungo erabilera komertzial ugari dituen arren, negozio askok zaila izan dute modu zabalean hartzea.
Gehienbat arazo hauengatik gertatzen da: Erakundeei maiz eragiten dien arazo bat informazio gainkarga da, eta horrek zaila egiten du identifikatzea zein datu-multzo diren erabakigarriak, itxuraz amaigabea den datu gehiagoko itsasoaren artean.
Gainera, NLP modu eraginkorrean erabiltzeko, erakundeek maiz zenbait metodo eta ekipamendu behar dituzte datuetatik informazio baliotsua ateratzeko.
Azkenik, baina ez behintzat, NLP-k esan nahi du enpresek puntako makineria behar dutela NLP erabiliz hainbat datu-iturritako datu bildumak kudeatu eta gorde nahi badituzte.
Enpresen gehiengoa NLP hartzeko oztopoak izan arren, badirudi erakunde horiek azken finean NLP, NLU eta NLG bereganatzea beren robotek gizakien antzeko interakzio eta eztabaida errealistak eusteko.
Semantika eta sintaxia arreta handia jasotzen ari diren NLP ikerketaren bi azpiesparru dira.
Ondorioa
Orain arte eztabaidatu duguna kontuan hartuta: ahotsari eta idazkerari esanahia esleituz, NLUk hizkuntza naturala irakurtzen eta ulertzen du, eta NLG-k hizkuntza berriak garatzen eta ateratzen ditu makinen laguntzarekin.
Hizkuntza NLUk gertakariak ateratzeko erabiltzen du, eta NLGk NLUk lortutako ezagutzak erabiltzen ditu hizkuntza naturala sortzeko.
Kontuz Apple, Google eta Amazon bezalako IT industriako eragile nagusiekin NLPn inbertitzen jarrai dezaten, ahal izateko sistemak garatzea giza jokabidea imitatzen dutenak.
Utzi erantzun bat