Cudd-wybodaeth artiffisial yn trawsnewid y ffordd rydym yn cynllunio ac yn cynhyrchu cynnwys. Mae hefyd yn effeithio ar sut mae pobl yn darganfod deunydd, o'r hyn maen nhw'n chwilio amdano ar Google i'r hyn maen nhw'n ei wylio mewn pyliau ar Netflix.
Yn bwysicach fyth, i farchnatwyr cynnwys, mae'n galluogi timau i dyfu trwy awtomeiddio rhai mathau o gynhyrchu cynnwys a dadansoddi deunydd cyfredol i wella'r hyn rydych chi'n ei ddarparu a chydweddu bwriad cwsmeriaid yn well.
Mae sawl darn symudol yn yr AI a dysgu peiriant prosesau. Ydych chi erioed wedi gofyn cwestiwn i gynorthwyydd craff (fel Siri neu Alexa)?
Mae'r ymateb yn fwyaf tebygol “ie,” sy'n awgrymu eich bod eisoes yn gyfarwydd â phrosesu iaith naturiol ar ryw lefel (NLP).
Alan Turing yn enw y mae pob techie wedi clywed amdano. Dyfeisiwyd y Prawf Turing adnabyddus gyntaf yn 1950 gan y mathemategydd a'r gwyddonydd cyfrifiadurol enwog Alan Turing.
Honnai yn ei waith Peiriannau Cyfrifiadura a Deallusrwydd bod peiriant yn artiffisial ddeallus os gall sgwrsio â pherson a'i dwyllo i feddwl ei fod yn sgwrsio â bod dynol.
Roedd hyn yn sail i dechnoleg NLP. Bydd system NLP effeithlon yn gallu amgyffred yr ymholiad a'i gyd-destun, ei ddadansoddi, dewis y ffordd orau o weithredu, ac ateb mewn iaith y bydd y defnyddiwr yn ei deall.
Mae safonau byd-eang ar gyfer cwblhau tasgau ar ddata yn cynnwys deallusrwydd artiffisial a thechnegau dysgu peirianyddol. Beth am iaith ddynol, serch hynny?
Mae meysydd cynhyrchu iaith naturiol (NLG), deall iaith naturiol (NLU), a phrosesu iaith naturiol (NLP) i gyd wedi cael llawer o sylw yn y blynyddoedd diwethaf.
Ond oherwydd bod gan y tri gyfrifoldebau gwahanol, mae'n hollbwysig osgoi dryswch. Mae llawer yn credu eu bod yn deall y syniadau hyn yn eu cyfanrwydd.
Gan fod iaith naturiol eisoes yn bresennol yn yr enwau, y cyfan y mae rhywun yn ei wneud yw ei phrosesu, ei deall, a'i chynhyrchu. Fe wnaethom benderfynu y gallai fod yn ddefnyddiol mynd ychydig yn ddyfnach, serch hynny, o ystyried pa mor aml y byddwn yn dod ar draws yr ymadroddion hyn yn gyfnewidiol.
O ganlyniad, gadewch i ni ddechrau trwy edrych yn fanwl ar bob un ohonynt.
Beth yw Prosesu Iaith Naturiol?
Mae unrhyw iaith naturiol yn cael ei hystyried yn destun rhydd gan gyfrifiaduron. Mae'n dilyn, wrth fewnbynnu data, nad oes unrhyw eiriau allweddol sefydlog mewn mannau sefydlog. Yn ogystal â bod yn anstrwythuredig, mae gan iaith naturiol amrywiaeth o opsiynau mynegiant hefyd. Cymerwch y tri ymadrodd hyn fel enghraifft:
- Sut mae'r tywydd heddiw?
- Oes siawns o law heddiw?
- A oes angen i mi ddod â'm hambarél heddiw?
Mae pob un o'r datganiadau hyn yn gofyn am ragfynegiad y tywydd ar gyfer heddiw, sef yr enwadur cyffredin.
Fel bodau dynol, gallwn bron yn syth weld y cysylltiadau sylfaenol hyn a gweithredu'n briodol.
Fodd bynnag, mae hyn yn a her ar gyfer cyfrifiaduron gan fod pob algorithm yn gofyn am y mewnbwn i ddilyn fformat penodol, ac mae gan y tri datganiad strwythurau a fformatau gwahanol.
A bydd pethau'n mynd yn anodd iawn yn fuan iawn os byddwn yn ceisio codeiddio rheolau ar gyfer pob cyfuniad gair ym mhob iaith naturiol i gynorthwyo cyfrifiadur i ddeall. Mae NLP yn camu i'r llun yn y sefyllfa hon.
Prosesu iaith naturiol (NLP), sy'n ceisio model iaith ddynol naturiol data, yn tarddu o ieithyddiaeth gyfrifiadol.
Yn ogystal, mae NLP yn canolbwyntio ar ddefnyddio dysgu peirianyddol a dulliau dysgu dwfn wrth brosesu swm sylweddol o fewnbwn dynol. Fe'i defnyddir yn aml mewn athroniaeth, ieithyddiaeth, cyfrifiadureg, systemau gwybodaeth a chyfathrebu.
Dim ond ychydig yw ieithyddiaeth gyfrifiadol, dadansoddi cystrawen, adnabod lleferydd, cyfieithu peirianyddol, ac is-feysydd eraill NLP. Mae prosesu iaith naturiol yn trawsnewid deunydd anstrwythuredig i fformat priodol neu destun strwythuredig er mwyn gweithredu.
Er mwyn deall beth mae'r defnyddiwr yn ei olygu pan fydd yn dweud unrhyw beth, mae'n adeiladu'r algorithm ac yn hyfforddi'r model gan ddefnyddio llawer iawn o ddata.
Mae'n gweithredu trwy grwpio endidau gwahanol gyda'i gilydd i'w hadnabod (a elwir yn gydnabyddiaeth endid) a thrwy adnabod patrymau geiriau. Defnyddir technegau lemmateiddio, tokenization a stemio i ddod o hyd i'r patrymau geiriau.
Dim ond rhai o'r swyddi y mae NLP yn eu gwneud yw echdynnu gwybodaeth, adnabod llais, tagio rhan-o-leferydd, a dosrannu.
Yn y byd go iawn, defnyddir NLP ar gyfer tasgau gan gynnwys poblogi ontoleg, modelu iaith, dadansoddiad teimlad, echdynnu testun, adnabod endid a enwir, tagio rhannau-o-leferydd, echdynnu cysylltiad, cyfieithu peirianyddol, ac ateb cwestiynau awtomataidd.
Beth yw Dealltwriaeth Iaith Naturiol?
Rhan fach o brosesu iaith naturiol yw deall iaith naturiol. Ar ôl i'r iaith gael ei symleiddio, mae'n rhaid i'r feddalwedd gyfrifiadurol ddeall, diddwytho ystyr, ac o bosibl hyd yn oed wneud dadansoddiad teimlad.
Gall yr un testun fod â sawl ystyr, gall sawl ymadrodd fod â'r un ystyr, neu gall yr ystyr newid yn dibynnu ar yr amgylchiadau.
Mae algorithmau NLU yn defnyddio dulliau cyfrifiannol i brosesu testun o sawl ffynhonnell er mwyn deall y testun mewnbwn, a all fod mor sylfaenol â gwybod beth yw ystyr ymadrodd neu mor gymhleth â dehongli sgwrs rhwng dau unigolyn.
Mae eich testun yn cael ei drawsnewid i fformat y gall peiriant ei ddarllen. O ganlyniad, mae NLU yn defnyddio technegau cyfrifiannol i ddehongli'r testun a chynhyrchu canlyniad.
Gellir cymhwyso NLU mewn amrywiaeth o sefyllfaoedd, megis deall sgwrs rhwng dau berson, pennu sut mae rhywun yn teimlo am amgylchiadau penodol, a sefyllfaoedd eraill o natur debyg.
Yn benodol, mae pedair lefel iaith i’w hamgyffred NLU:
- Cystrawen: Dyma'r broses o benderfynu a yw'r gramadeg yn cael ei ddefnyddio'n briodol a sut mae brawddegau'n cael eu rhoi at ei gilydd. Er enghraifft, rhaid ystyried cyd-destun brawddeg a gramadeg er mwyn penderfynu a yw'n gwneud synnwyr.
- Semanteg: Pan fyddwn yn archwilio'r testun, mae arlliwiau ystyr cyd-destunol fel tenor y ferf neu ddewis gair rhwng dau berson yno. Gall y darnau hyn o wybodaeth hefyd gael eu defnyddio gan algorithm NLU i ddarparu canlyniadau o unrhyw senario lle gellid defnyddio'r un gair llafar.
- Gwahaniaethu synnwyr geiriau: Dyma'r broses o ddarganfod beth mae pob gair mewn ymadrodd yn ei olygu. Yn dibynnu ar y cyd-destun, mae'n rhoi ystyr i derm.
- Dadansoddiad pragmatig: Mae'n gymorth i ddeall lleoliad a phwrpas y gwaith.
Mae NLU yn arwyddocaol i gwyddonwyr data oherwydd, hebddo, nid oes ganddynt y gallu i dynnu ystyr o dechnolegau fel chatbots a meddalwedd adnabod llais.
Wedi'r cyfan, mae pobl wedi arfer cael sgwrs gyda bot sy'n galluogi lleferydd; nid oes gan gyfrifiaduron, ar y llaw arall, y moethusrwydd hwn o rwyddineb.
Yn ogystal, gall yr NLU adnabod emosiynau a gwallgofrwydd mewn araith yn union ag y gallwch. Mae hyn yn awgrymu y gall gwyddonwyr data archwilio gwahanol fformatau cynnwys yn ddefnyddiol a dosbarthu testun gan ddefnyddio galluoedd NLU.
Mae NLG yn gweithio mewn gwrthwynebiad uniongyrchol i ddealltwriaeth iaith naturiol, sy'n ceisio trefnu a gwneud synnwyr o ddata anstrwythuredig er mwyn ei drosi'n ddata defnyddiadwy. Nesaf, gadewch i ni ddiffinio NLG ac archwilio'r ffyrdd y mae gwyddonwyr data yn ei ddefnyddio mewn achosion defnydd ymarferol.
Beth yw Cynhyrchu Iaith Naturiol?
Mae prosesu iaith naturiol hefyd yn cynnwys cynhyrchu iaith naturiol. Gall cyfrifiaduron ysgrifennu gan ddefnyddio cynhyrchu iaith naturiol, ond mae dealltwriaeth iaith naturiol yn canolbwyntio ar ddarllen a deall.
Trwy ddefnyddio mewnbwn data penodol, mae NLG yn creu ateb ysgrifenedig mewn iaith ddynol. Gwasanaethau testun-i-leferydd gellir ei ddefnyddio hefyd i drawsnewid y testun hwn yn leferydd.
Pan fydd gwyddonwyr data yn rhoi data i system NLG, mae'r system yn dadansoddi'r data i gynhyrchu naratifau y gellir eu deall trwy ddeialog.
Yn ei hanfod, mae NLG yn trosi setiau data yn iaith y mae'r ddau ohonom yn ei deall, a elwir yn iaith naturiol. Fel y gall ddarparu allbwn sy'n cael ei astudio'n ofalus ac yn gywir i'r graddau mwyaf posibl, mae NLG wedi'i chynysgaeddu â phrofiad bod dynol go iawn.
Mae’r dull hwn, y gellir ei olrhain yn ôl i rai o ysgrifau Alan Turing yr ydym wedi’u trafod eisoes, yn hollbwysig i argyhoeddi bodau dynol bod cyfrifiadur yn sgwrsio â nhw mewn modd credadwy a naturiol, waeth beth fo’r pwnc dan sylw.
Gall sefydliadau ddefnyddio NLG i gynhyrchu naratifau sgyrsiol y gall pawb o fewn y cwmni eu defnyddio.
Gall NLG, a ddefnyddir amlaf ar gyfer dangosfyrddau gwybodaeth busnes, cynhyrchu cynnwys awtomataidd, a dadansoddi data yn fwy effeithiol, fod o gymorth mawr i weithwyr proffesiynol sy'n gweithio mewn adrannau fel marchnata, adnoddau dynol, gwerthu a thechnoleg gwybodaeth.
Pa rôl mae NLU ac NGL yn ei chwarae yn NLP?
Gellir defnyddio NLP gan wyddonwyr data a deallusrwydd artiffisial gweithwyr proffesiynol i drosi setiau data anstrwythuredig yn ffurfiau y gall cyfrifiaduron eu cyfieithu i leferydd a thestun - gallant hyd yn oed lunio atebion sy'n briodol yn y cyd-destun i gwestiwn y byddwch yn ei ofyn iddynt (meddyliwch eto i gynorthwywyr rhithwir fel Siri a Alexa).
Ond ble mae NLU ac NLG yn ffitio i mewn i NLP?
Er eu bod i gyd yn chwarae rolau gwahanol, mae gan bob un o'r tair disgyblaeth hyn un peth yn gyffredin: maen nhw i gyd yn ymwneud ag iaith naturiol. Felly, beth yw'r gwahaniaeth rhwng y tri?
Ystyriwch ef fel hyn: tra bod NLU yn ceisio deall yr iaith y mae bodau dynol yn ei defnyddio, mae NLP yn nodi'r data mwyaf hanfodol ac yn ei drefnu yn bethau fel testun a rhifau.
Gall hyd yn oed gynorthwyo gyda chyfathrebiadau niweidiol wedi'u hamgryptio. Mae NLG, ar y llaw arall, yn defnyddio casgliadau o ddata distrwythur i gynhyrchu straeon y gallwn eu dehongli fel rhai ystyrlon.
Dyfodol NLP
Er bod gan NLP nifer o ddefnyddiau masnachol cyfredol, mae llawer o fusnesau wedi'i chael hi'n anodd ei fabwysiadu'n fras.
Mae hyn yn bennaf oherwydd y materion canlynol: Un mater sy'n effeithio'n aml ar sefydliadau yw gorlwytho gwybodaeth, sy'n ei gwneud yn heriol iddynt nodi pa setiau data sy'n hanfodol yng nghanol môr diderfyn o fwy o ddata.
Yn ogystal, er mwyn defnyddio NLP yn effeithiol, yn aml mae sefydliadau angen rhai dulliau ac offer sy'n eu galluogi i dynnu gwybodaeth werthfawr o ddata.
Yn olaf ond nid lleiaf, mae NLP yn awgrymu bod cwmnïau angen peiriannau blaengar os ydynt yn dymuno trin a chadw casgliadau o ddata o amrywiol ffynonellau data gan ddefnyddio NLP.
Er gwaethaf rhwystrau sy'n atal mwyafrif y cwmnïau rhag mabwysiadu NLP, mae'n ymddangos yn debygol y bydd yr un sefydliadau hyn yn y pen draw yn cofleidio NLP, NLU, ac NLG i alluogi eu robotiaid i gynnal rhyngweithiadau a thrafodaethau realistig, tebyg i ddyn.
Mae semanteg a chystrawen yn ddau is-faes ymchwil NLP sy'n cael llawer o sylw.
Casgliad
Gan gymryd yr hyn yr ydym wedi'i drafod hyd yma i ystyriaeth: Gan roi ystyr i lais ac ysgrifennu, mae NLU yn darllen ac yn deall iaith naturiol, ac mae NLG yn datblygu ac yn allbynnu iaith newydd gyda chymorth peiriannau.
Defnyddir iaith gan NLU i dynnu ffeithiau, tra bod NLG yn defnyddio'r mewnwelediadau a geir gan NLU i gynhyrchu iaith naturiol.
Gwyliwch am chwaraewyr mawr yn y diwydiant TG fel Apple, Google, ac Amazon i barhau i fuddsoddi yn NLP fel y gallant datblygu systemau sy'n dynwared ymddygiad dynol.
Gadael ymateb