Tabl Cynnwys[Cuddio][Dangos]
Mae gennym y gallu cynhenid i adnabod a dosbarthu geiriau yn unigolion, lleoedd, lleoliadau, gwerthoedd, a mwy pryd bynnag y byddwn yn eu clywed neu'n eu darllen. Mae bodau dynol yn gallu categoreiddio, adnabod, a deall geiriau yn gyflym.
Er enghraifft, gallwch chi gategoreiddio gwrthrych a meddwl yn gyflym ag o leiaf tair i bedair rhinwedd pan glywch yr enw “Steve Jobs,”
- Person: “Steve Jobs”
- Sefydliad: "Afal"
- Lleoliad: "California"
Gan nad oes gan gyfrifiaduron y sgil gynhenid hon, rhaid inni eu cynorthwyo i adnabod geiriau neu destun a'u dosbarthu. Defnyddir Cydnabod Endid a Enwir (NER) yn y sefyllfa hon.
Yn yr erthygl hon, byddwn yn archwilio NER (Cydnabod Endid a Enwir) yn fanwl, gan gynnwys ei bwysigrwydd, buddion, APIs NER gorau, a llawer mwy.
Beth yw NER (Cydnabod Endid a Enwir)?
Mae dull prosesu iaith naturiol (NLP) a elwir yn gydnabyddiaeth endid a enwir (NER), a elwir weithiau yn adnabod endid neu echdynnu endid, yn cydnabod yn awtomatig endidau a enwir mewn testun ac yn eu grwpio yn gategorïau a bennwyd ymlaen llaw.
Mae endidau'n cynnwys enwau unigolion, grwpiau, lleoedd, dyddiadau, symiau, symiau doler, canrannau, a mwy. Gydag adnabyddiaeth endid a enwir, gallwch naill ai ei ddefnyddio i gasglu data sylweddol ar gyfer cronfa ddata neu i dynnu gwybodaeth hanfodol i ddeall beth yw pwrpas dogfen.
NER yw'r conglfaen y mae system AI yn dibynnu arno er mwyn dadansoddi testun ar gyfer semanteg a theimlad cymharol, hyd yn oed os yw NLP yn cynrychioli datblygiad sylweddol yn y broses dadansoddi testun.
Beth yw arwyddocâd NER?
Sylfaen dull dadansoddi testun yw NER. I ddechrau, rhaid rhoi miliynau o samplau i fodel ML gyda chategorïau a ddiffiniwyd ymlaen llaw cyn y gall ddeall Saesneg.
Mae'r API yn gwella gydag amser wrth adnabod y cydrannau hyn mewn testunau y mae'n eu darllen am y tro cyntaf. Mae pŵer yr injan dadansoddeg testun yn cynyddu gyda chymhwysedd a chryfder y NER.
Fel y gwelir yma, mae nifer o lawdriniaethau ML yn cael eu sbarduno gan NER.
Chwilio Semantig
Mae chwiliad semantig bellach ar gael ar Google. Gallwch chi nodi cwestiwn, a bydd yn gwneud ei orau i ymateb gydag ateb. Er mwyn dod o hyd i'r wybodaeth, mae defnyddiwr yn chwilio am gynorthwywyr digidol fel Alexa, Siri, chatbots, ac eraill yn defnyddio math o chwiliad semantig.
Gall y swyddogaeth hon gael ei tharo neu ei cholli, ond mae nifer cynyddol o ddefnyddiau ar ei chyfer, ac mae eu heffeithiolrwydd yn cynyddu'n gyflym.
Dadansoddiadau Data
Mae hwn yn ymadrodd cyffredinol ar gyfer defnyddio algorithmau i greu dadansoddiad o ddata distrwythur. Mae'n integreiddio dulliau ar gyfer arddangos y data hwn gyda'r broses o ddarganfod a chasglu data perthnasol.
Gallai hyn fod ar ffurf esboniad ystadegol syml o'r canlyniadau neu gynrychioliad gweledol o'r data. Gellir dadansoddi diddordeb mewn pwnc penodol ac ymgysylltu ag ef gan ddefnyddio gwybodaeth o olygfeydd YouTube, gan gynnwys pan fydd gwylwyr yn clicio oddi ar fideo penodol.
Gellir dadansoddi graddfeydd seren cynnyrch gan ddefnyddio crafu data o wefannau e-fasnach i roi sgôr gyffredinol o ba mor dda y mae'r cynnyrch yn ei wneud.
Dadansoddiad Sentiment
Archwilio NER ymhellach, dadansoddiad teimlad yn gallu gwahaniaethu rhwng adolygiadau da a drwg hyd yn oed yn absenoldeb gwybodaeth gan y graddfeydd sêr.
Mae’n ymwybodol bod gan dermau fel “gorgyfrif,” “ffyddlon,” a “dwp” gynodiadau negyddol, tra bod termau fel “defnyddiol,” “cyflym,” a “hawdd” yn perthyn iddynt. Gellid dehongli'r gair “hawdd” yn negyddol mewn gêm gyfrifiadurol.
Gall algorithmau soffistigedig hefyd adnabod y berthynas rhwng pethau.
Dadansoddeg Testun
Yn debyg i ddadansoddeg data, mae dadansoddi testun yn tynnu gwybodaeth o linynnau testun distrwythur ac yn defnyddio NER i sero i mewn ar y data pwysig.
Gellir ei ddefnyddio i gasglu data ar gyfeiriadau cynnyrch, pris cyfartalog, neu'r termau y mae cwsmeriaid yn eu defnyddio amlaf i ddisgrifio brand penodol.
Dadansoddi Cynnwys Fideo
Y systemau mwyaf cymhleth yw'r rhai sy'n tynnu data o wybodaeth fideo gan ddefnyddio adnabyddiaeth wyneb, dadansoddi sain, ac adnabod lluniau.
Gan ddefnyddio dadansoddiad cynnwys fideo, gallwch ddod o hyd i fideos “unboxing” YouTube, arddangosiadau gêm Twitch, cysoni gwefusau o'ch deunydd sain ar Reels, a mwy.
Er mwyn osgoi colli gwybodaeth bwysig am sut mae pobl yn cysylltu â'ch cynnyrch neu wasanaeth wrth i faint o ddeunydd fideo ar-lein dyfu, mae technegau cyflymach a mwy dyfeisgar ar gyfer dadansoddi cynnwys fideo yn seiliedig ar NER yn hanfodol.
Cymhwyso NER yn y byd go iawn
Mae cydnabyddiaeth endid a enwir (NER) yn nodi agweddau hanfodol mewn testun fel enwau pobl, lleoliadau, brandiau, gwerthoedd ariannol, a mwy.
Mae echdynnu'r prif endidau mewn testun yn gymorth i ddidoli data anstrwythuredig a chanfod gwybodaeth arwyddocaol, sy'n hollbwysig wrth ymdrin â setiau data mawr.
Dyma rai enghreifftiau hynod ddiddorol yn y byd go iawn o gydnabod endid a enwir:
Dadansoddi Adborth Cwsmeriaid
Mae adolygiadau ar-lein yn ffynhonnell wych o adborth gan ddefnyddwyr gan y gallant roi gwybodaeth fanwl i chi am yr hyn y mae cwsmeriaid yn ei hoffi ac yn ei gasáu am eich nwyddau yn ogystal â pha feysydd o'ch cwmni sydd angen eu gwella.
Gellir trefnu'r holl fewnbwn hwn gan gleientiaid gan ddefnyddio systemau NER, a all hefyd nodi materion sy'n codi dro ar ôl tro.
Er enghraifft, trwy ddefnyddio NER i nodi lleoedd sy'n cael eu dyfynnu'n aml mewn adolygiadau cwsmeriaid anffafriol, gallwch benderfynu canolbwyntio ar gangen swyddfa benodol.
Argymhelliad ar gyfer cynnwys
Mae rhestr o erthyglau sy'n gysylltiedig â'r un rydych chi'n ei ddarllen i'w gweld ar wefannau fel BBC a CNN pan fyddwch chi'n darllen eitem yno.
Mae'r gwefannau hyn yn gwneud argymhellion ar gyfer gwefannau ychwanegol sy'n cynnig gwybodaeth am yr endidau y maent wedi'u tynnu o'r cynnwys rydych chi'n ei ddarllen gan ddefnyddio NER.
Trefnu Tocynnau mewn Cymorth Cwsmer
Gallwch ddefnyddio algorithmau adnabod endid a enwir i ymateb i geisiadau cleientiaid yn gyflymach os ydych chi'n rheoli cynnydd yn nifer y tocynnau cymorth gan gwsmeriaid.
Awtomeiddio tasgau gofal cwsmeriaid sy'n cymryd llawer o amser, megis dosbarthu cwynion ac ymholiadau cwsmeriaid, i arbed arian i chi'ch hun, cynyddu hapusrwydd cwsmeriaid, a chynyddu cyfraddau datrys.
Gellir defnyddio echdynnu endid hefyd i echdynnu data perthnasol, megis enwau cynnyrch neu rifau cyfresol, i'w gwneud hi'n symlach i lwybro tocynnau at yr asiant neu'r tîm cywir ar gyfer datrys y mater hwnnw.
Yr algorithm chwilio
Ydych chi erioed wedi cwestiynu sut y gall gwefannau gyda miliynau o ddarnau o wybodaeth gynhyrchu canlyniadau sy'n berthnasol i'ch chwiliad? Ystyriwch y wefan Wikipedia.
Mae Wikipedia yn dangos tudalen sy'n cynnwys endidau wedi'u diffinio ymlaen llaw y gall y term chwilio ymwneud â nhw pan fyddwch chi'n chwilio am “swyddi,” yn lle dychwelyd pob erthygl gyda'r gair “swyddi” ynddynt.
Felly, mae Wikipedia yn cynnig dolen i'r erthygl sy'n diffinio “galwedigaeth,” adran ar gyfer pobl o'r enw Swyddi, a maes arall ar gyfer cyfryngau fel ffilmiau, gemau fideo, a mathau eraill o adloniant lle mae'r term “swyddi” yn ymddangos.
Byddech hefyd yn gweld segment arall ar gyfer lleoliadau sy'n cynnwys y gair chwilio.
Gofalu am ailddechrau
I chwilio am yr ymgeisydd delfrydol, mae recriwtwyr yn treulio cyfran sylweddol o'u diwrnod yn adolygu ailddechrau. Mae gan bob crynodeb yr un wybodaeth, ond maent i gyd yn cael eu cyflwyno a'u trefnu'n wahanol, sy'n enghraifft nodweddiadol o ddata anstrwythuredig.
Gellir echdynnu'r wybodaeth fwyaf perthnasol am ymgeiswyr yn gyflym trwy recriwtio timau gan ddefnyddio echdynwyr endid, gan gynnwys data personol (fel enw, cyfeiriad, rhif ffôn, dyddiad geni, ac e-bost) a gwybodaeth am eu haddysg a'u profiad (fel ardystiadau, gradd , enwau cwmni, sgiliau, ac ati).
E-fasnach
O ran eu algorithm chwilio cynnyrch, byddai manwerthwyr ar-lein gyda channoedd neu filoedd o nwyddau yn elwa o NER.
Heb NER, byddai chwilio am “esgidiau lledr du” yn dod â chanlyniadau a oedd yn cynnwys lledr ac esgidiau nad oeddent yn ddu. Os felly, mae gwefannau e-fasnach mewn perygl o golli cleientiaid.
In ein hachos ni, byddai NER yn categoreiddio'r gair chwilio fel math o gynnyrch ar gyfer esgidiau lledr a du fel y lliw.
APIs Echdynnu Endid Gorau
NLP Google Cloud
Ar gyfer offer sydd eisoes wedi'u hyfforddi, mae Google Cloud NLP yn darparu ei API Iaith Naturiol. Neu, mae'r AutoML Natural Language API yn addasadwy ar gyfer sawl math o echdynnu a dadansoddi testun os ydych chi am addysgu'ch offer ar derminoleg eich diwydiant.
Mae'r APIs yn rhyngweithio'n hawdd â Gmail, Google Sheets, ac apiau Google eraill, ond gall fod angen cod mwy cymhleth i'w defnyddio gyda rhaglenni trydydd parti.
Yr opsiwn busnes delfrydol yw cysylltu cymwysiadau Google a Cloud Storage fel gwasanaethau a reolir ac APIs.
IBM Watson
Mae IBM Watson yn blatfform aml-gwmwl sy'n perfformio'n anhygoel o gyflym ac yn darparu galluoedd a adeiladwyd ymlaen llaw, fel lleferydd-i-destun, sy'n feddalwedd anhygoel sy'n gallu dadansoddi galwadau sain a ffôn wedi'u recordio yn awtomatig.
Gyda'r defnydd o ddata CSV, gall AI dysgu dwfn Watson Natural Language Understanding greu modelau echdynnu i echdynnu endidau neu eiriau allweddol.
A chydag ymarfer, gallwch chi greu modelau sy'n llawer mwy soffistigedig. Mae ei holl swyddogaethau ar gael trwy APIs, er bod angen gwybodaeth codio helaeth.
Mae'n gweithio'n dda i fusnesau mawr y mae angen iddynt archwilio setiau data enfawr a chael adnoddau technegol mewnol.
Cortical.io
Gan ddefnyddio Plygu Semantig, syniad o niwroleg, mae Cortical.io yn darparu datrysiadau echdynnu testun ac NLU.
Gwneir hyn i gynhyrchu “olion bysedd semantig,” sy'n nodi ystyr testun yn ei gyfanrwydd a thermau penodol. Er mwyn dangos y berthynas rhwng clystyrau geiriau, mae olion bysedd semantig yn darlunio data testun.
Mae dogfennaeth API rhyngweithiol Cortical.io yn cwmpasu ymarferoldeb pob un o'r datrysiadau dadansoddi testun, ac mae'n hawdd ei gyrchu gan ddefnyddio'r APIs Java, Python, a Javascript.
Crëwyd yr offeryn Contract Intelligence gan Cortical.io yn benodol ar gyfer dadansoddiad cyfreithiol i wneud chwiliadau semantig, trawsnewid dogfennau wedi'u sganio, a helpu a gwella gydag anodiadau.
Mae'n ddelfrydol ar gyfer busnesau sy'n chwilio am APIs syml i'w defnyddio nad oes angen gwybodaeth AI arnynt, yn enwedig yn y sector cyfreithiol.
Mwnci Dysgwch
Mae pob un o'r prif ieithoedd cyfrifiadurol yn cael eu cefnogi gan APIs MonkeyLearn ac yn sefydlu dim ond ychydig linellau o god i gynhyrchu ffeil JSON sy'n cynnwys eich endidau a echdynnwyd. Ar gyfer echdynwyr a dadansoddwyr testun sydd wedi cael hyfforddiant blaenorol, mae'r rhyngwyneb yn hawdd ei ddefnyddio.
Neu, mewn ychydig o gamau syml, gallwch greu echdynnwr unigryw. Er mwyn lleihau amser a gwella cywirdeb, prosesu iaith naturiol uwch (NLP) gyda dwfn dysgu peiriant yn eich galluogi i werthuso testun fel y byddai person.
Yn ogystal, mae APIs SaaS yn sicrhau nad oes angen blynyddoedd o wybodaeth cyfrifiadureg i sefydlu cysylltiadau ag offer fel Google Sheets, Excel, Zapier, Zendesk, ac eraill.
Ar gael yn eich porwr ar hyn o bryd mae'r echdynnwr enw, echdynnwr cwmni, ac echdynnwr lleoliad. Am wybodaeth ar sut i adeiladu un eich hun, gweler yr erthygl blog adnabod endid a enwir.
Mae'n ddelfrydol ar gyfer busnesau o bob maint sy'n ymwneud â thechnoleg, manwerthu, ac e-fasnach sydd angen APIs syml i'w gweithredu ar gyfer gwahanol fathau o echdynnu testun a dadansoddi testun.
Deall Amazon
Er mwyn ei gwneud hi'n syml plygio i mewn a defnyddio offer cyn-adeiladu Amazon Comprehend ar unwaith, maent wedi'u hyfforddi mewn cannoedd o wahanol feysydd.
Nid oes angen gweinyddwyr mewnol oherwydd mae hwn yn wasanaeth sy'n cael ei fonitro. Yn enwedig os ydych chi'n defnyddio cwmwl Amazon i ryw lefel ar hyn o bryd, mae eu APIs yn integreiddio'n hawdd ag apiau sy'n bodoli eisoes. A chyda dim ond ychydig mwy o hyfforddiant, gellir codi cywirdeb echdynnu.
Un o'r technegau dadansoddi testun mwyaf dibynadwy ar gyfer cael data o gofnodion meddygol a threialon clinigol yw Echdynnu Endid a Pherthnasoedd a Enwir yn Feddygol Comprehend (NERe), a all dynnu manylion am feddyginiaethau, cyflyrau, canlyniadau profion, a gweithdrefnau.
Wrth gymharu data cleifion i asesu a mireinio diagnosis, gall fod yn eithaf buddiol. Yr opsiwn gorau i fusnesau sy'n ceisio gwasanaeth wedi'i reoli gydag offer sydd wedi'u hyfforddi ymlaen llaw.
Aylien
Er mwyn darparu mynediad hawdd at ddadansoddiad testun dysgu peiriant cadarn, mae AYLIEN yn cynnig tri ategyn API mewn saith iaith raglennu boblogaidd.
Mae eu News API yn darparu chwiliad amser real ac echdynnu endid o ddegau o filoedd o ffynonellau newyddion o bob rhan o'r byd.
Gellir cyflawni echdynnu endid a sawl tasg dadansoddi testun arall gan ddefnyddio'r API Dadansoddi Testun ar ddogfennau, cyfryngau cymdeithasol llwyfannau, arolygon defnyddwyr, a mwy.
Yn olaf, gan ddefnyddio'r Llwyfan Dadansoddi Testun, gallwch greu eich echdynwyr eich hun ac yn fwy syth yn eich porwr (TAP). Mae'n gweithio'n dda i gwmnïau sydd angen integreiddio APIs sefydlog yn bennaf yn gyflym.
SbaCy
Mae SpaCy yn becyn Python Natural Language Processing (NLP) sy'n ffynhonnell agored, yn rhad ac am ddim, ac sydd â thunnell o nodweddion adeiledig.
Mae'n dod yn fwy a mwy cyffredin am Data NLP prosesu a dadansoddi. Mae data testunol distrwythur yn cael ei greu ar raddfa enfawr, felly mae'n hanfodol ei ddadansoddi a thynnu mewnwelediadau ohono.
I gyflawni hynny, rhaid i chi bortreadu'r ffeithiau mewn ffordd y gall cyfrifiaduron ei deall. Gallwch chi ei wneud trwy NLP. Mae'n hynod o gyflym, gydag amser oedi o ddim ond 30ms, ond yn hollbwysig, nid yw wedi'i fwriadu i'w ddefnyddio gyda thudalennau HTTPS.
Mae hwn yn opsiwn braf ar gyfer sganio'ch gweinyddwyr neu'ch mewnrwyd eich hun oherwydd ei fod yn gweithredu'n lleol, ond nid yw'n offeryn ar gyfer astudio'r rhyngrwyd cyfan.
Casgliad
Mae cydnabyddiaeth endid a enwir (NER) yn system y gall busnesau ei defnyddio i labelu gwybodaeth berthnasol mewn ceisiadau cymorth cwsmeriaid, dod o hyd i endidau y cyfeirir atynt mewn adborth cwsmeriaid, a thynnu data hanfodol yn gyflym fel manylion cyswllt, lleoliadau a dyddiadau, ymhlith pethau eraill.
Y dull mwyaf cyffredin o gael ei enwi fel cydnabyddiaeth endid yw trwy ddefnyddio API echdynnu endid (p'un a ydynt yn cael eu darparu gan lyfrgelloedd ffynhonnell agored neu gynhyrchion SaaS).
Fodd bynnag, bydd dewis y dewis arall gorau yn dibynnu ar eich amser, cyllid a set sgiliau. Ar gyfer unrhyw fath o fusnes, mae'n amlwg y bydd echdynnu endid a thechnolegau dadansoddi testun mwy soffistigedig yn fanteisiol.
Pan fydd offer dysgu peiriant yn cael eu haddysgu'n gywir, maent yn gywir ac nid ydynt yn anwybyddu unrhyw ddata, gan arbed amser ac arian i chi. Gallwch chi ffurfweddu'r atebion hyn i redeg yn barhaus ac yn awtomatig trwy integreiddio APIs.
Yn syml, dewiswch y camau gweithredu sydd orau i'ch cwmni.
Gadael ymateb