Ripanga o Ihirangi[Huna][Whakaatu]
He nui te wa e noho ana matou ki te whakawhitiwhiti korero ki nga tangata i runga ipurangi ma te korerorero, imeera, paetukutuku me nga paapori paapori.
Ko te nui o nga raraunga kuputuhi ka mahia e tatou ia hekona ka mawhiti mai i a tatou, engari, ehara i nga wa katoa.
Ko nga mahi me nga arotake a nga kaihoko ka whakawhiwhia ki nga whakahaere nga korero utu nui mo nga mea e whakanuia ana e nga kaihoko me te kore e whakaae ki nga taonga me nga ratonga, me nga mea e hiahia ana ratou mai i tetahi waitohu.
Ko te nuinga o nga pakihi, heoi, kei te uaua tonu ki te whakatau i te huarahi tino whai hua mo te tātari raraunga.
I te mea ko te nuinga o nga raraunga karekau he hanganga, he uaua nga rorohiko ki te mohio ki a ia, me te whakariterite a-ringa ka pau te waa.
Ko te tukatuka i te maha o nga raraunga ma te ringaringa ka kaha te mahi, ka ngawari, ka kore noa e taea te huri i te wa e tipu ana te umanga.
Ko te mihi, ka taea e te Tukatuka Reo Mauri te awhina i a koe ki te rapu korero mohio i roto i nga tuhinga kore hanga me te whakatau i te whānuitanga o nga take tātari tuhinga, tae atu ki tātaritanga whakaaro, te whakarōpūtanga kaupapa, me etahi atu.
Ko te whakamohiotanga o te reo tangata ki nga miihini ko te whaainga o te mara mohio hangai o te tukatuka reo maori (NLP), e whakamahi ana i te reo me te hangarau rorohiko.
Ma te NLP ka taea e nga rorohiko te arotake aunoa i te maha o nga raraunga, ka taea e koe te tautuhi tere i nga korero e tika ana.
Ka taea te whakamahi i nga tuhinga kore hanga (me etahi atu momo reo maori) me nga momo hangarau hei hura i nga korero mohio me te whakatika i etahi take.
Ahakoa karekau he matawhānui, ko te rarangi o nga taputapu puna-tuwhera e whakaatuhia ana i raro nei he waahi pai ki te timata mo te tangata, mo tetahi whakahaere ranei e hiahia ana ki te whakamahi i te tukatuka reo maori i roto i a raatau kaupapa.
1. NLTK
Ka taea e tetahi te tautohetohe ko te Kete Utauta Reo Maori (NLTK) te taputapu tino whai hua kua tirohia e au.
Tata ki te katoa o nga tikanga NLP kua whakatinanahia, tae atu ki te whakarōpūtanga, te tohu tohu, te tarai, te tohu, te parsing, me te whakaaro oro.
Ka taea e koe te kowhiri i te algorithm tika, i te huarahi ranei e hiahia ana koe ki te whakamahi na te mea he maha nga waahanga e waatea ana mo ia.
He maha nga reo e tautokohia ana. Ahakoa he pai mo nga hanganga ngawari, na te mea e tohu ana i nga raraunga katoa hei aho, he uaua ki te whakamahi i etahi kaha maamaa.
Ina whakaritea ki etahi atu taputapu, he puhoi hoki te whare pukapuka.
Ko nga mea katoa e whakaarohia ana, he taputapu pai tenei mo te whakamatautau, te torotoro, me nga tono e hiahia ana ki te whakauru i etahi momo algorithms.
AtAKi
- Koinei te whare pukapuka NLP tino rongonui me te whakaoti me te maha o nga taapiri tuatoru.
- Ina whakaritea ki etahi atu whare pukapuka, ka tautokohia te nuinga o nga reo.
raruraru
- he uaua ki te mohio me te whakamahi
- He puhoi
- kore tauira o te ahunga taiao
- Ka wehewehe noa i te tuhinga ki roto i nga rerenga korero me te kore e whakaaro ki nga kupu oro
2. mokowhiti
Ko SpaCy te tino whakataetae a NLTK. Ahakoa kotahi noa te whakatinanatanga mo ia waahanga NLP, he tere ake.
I tua atu, ka whakaatuhia nga mea katoa hei ahanoa, kaua he aho, e whakamaarama ana i te atanga mo te whakawhanake taupānga.
Ma te hohonu ake o to raraunga kuputuhi ka taea e koe te whakatutuki i etahi atu mahi.
Ma tenei ka ngawari ake te hono atu ki etahi atu anga me nga taputapu pūtaiao raraunga. Engari ka whakatauritea ki te NLTK, kaore a SpaCy e tautoko i nga reo maha.
He maha nga tauira neural mo nga ahuatanga rereke o te tukatuka reo me te tātaritanga, tae atu ki te atanga kaiwhakamahi ngawari me te maha o nga whiringa me nga tuhinga pai.
I tua atu, kua hangaia a SpaCy ki te whakauru i te nui o nga raraunga me te tino tuhi.
Kei roto hoki te maha o nga tauira mo te tukatuka reo maori kua oti te whakangungu, kia ngawari ake te ako, te whakaako, me te whakamahi i te tukatuka reo maori me SpaCy.
I roto i te katoa, he taputapu pai tenei mo nga taupānga hou kaore e hiahiatia he tikanga motuhake me te mahi i roto i te mahi.
AtAKi
- Ina whakaritea ki etahi atu mea, he tere.
- He ngawari te ako me te whakamahi.
- Ka whakangunguhia nga tauira ma te whakamahi i nga whatunga neural
raruraru
- iti ake te urutau ki te whakataurite ki te NLTK
3. Gensim
Ko nga huarahi tino whaihua me te ngawari ki te whakaputa tuhinga hei tohu tohutoro ka tutuki ma te whakamahi i te angamahi Python puna tuwhera motuhake e kiia nei ko Gensim.
I hangaia a Gensim e nga kaituhi ki te hapai i nga tuhinga maamaa, kaore ano kia hangahia ma te whakamahi i te whānuitanga o akoranga mīhini tikanga; no reira, he whakaaro mohio ki te whakamahi i a Gensim ki te tarai i nga mahi penei i te Whakatauira Kaupapa.
I tua atu, ka whai hua a Gensim ki te rapu i nga ahuatanga o te tuhinga, te tohu i nga ihirangi, me te whakatere i waenga i nga tuhinga motuhake.
He tino tohunga whare pukapuka Python te arotahi ki nga mahi whakatauira kaupapa ma te whakamahi i te Latent Dirichlet Allocation me etahi atu tikanga LDA.
I tua atu, he tino pai ki te rapu tuhinga e rite ana ki a raua, ki te whakariterite i nga tuhinga, me te whakatere i nga pepa.
Ko tenei taputapu ka whakahaere i te maha o nga raraunga ma te pai me te tere. Anei etahi akoranga timata.
AtAKi
- atanga kaiwhakamahi ngawari
- te whakamahi pai o nga algorithms rongonui
- I runga i te roopu rorohiko, ka taea e ia te tohatoha Dirichlet huna me te tātari kupu huna.
raruraru
- Ko te nuinga o te tikanga mo te whakatauira kuputuhi kore e tirotirohia.
- Karekau he paipa NLP oti me te whakamahi tahi me etahi atu whare pukapuka penei i a Spacy, NLTK ranei.
4. Puka Kuputuhi
Ko TextBlob he momo toronga NLTK.
Ma te TextBlob, ka taea e koe te uru atu ki nga mahi maha NLTK ngawari ake, ka whakauru ano hoki a TextBlob i nga kaha o te whare pukapuka Tauira.
He taputapu whai hua pea tenei hei whakamahi i a koe e ako ana mena kei te timata koe, ka taea te whakamahi ki te whakaputanga mo nga tono kaore e nui te mahi.
Ka tukuna he atanga tino maamaa me te ngawari mo te kawe i nga mahi NLP kotahi.
He whiringa pai mo nga tauhou e hiahia ana ki te kawe i nga mahi NLP penei i te tātari karekau, te whakarōpūtanga kuputuhi, me te tohu tohu-korero na te mea he iti ake tana pihi ako ki etahi atu taputapu puna tuwhera.
He nui te whakamahi a TextBlob me te tino pai mo nga kaupapa iti.
AtAKi
- He maamaa, he maamaa te atanga kaiwhakamahi o te whare pukapuka.
- Ka tukuna he tohu reo me nga ratonga whakamaori ma te whakamahi i a Google Translate.
raruraru
- Ina whakaritea ki etahi atu, he puhoi.
- Kaore he tauira o nga whatunga neural
- Karekau he vectors kupu kua whakauruhia
5. WhakatuwheraNLP
He ngawari ki te whakauru OpenNLP ki etahi atu kaupapa Apache penei i a Apache Flink, Apache NiFi, me Apache Spark na te mea kei te whakahaerehia e te Apache Foundation.
He taputapu NLP matawhānui ka taea te whakamahi mai i te raina whakahau, hei whare pukapuka ranei i roto i tetahi tono.
Kei roto katoa nga waahanga tukatuka noa o te NLP.
I tua atu, he nui te tautoko reo. Mena kei te whakamahi koe i te Java, he taputapu kaha a OpenNLP me te maha o nga kaha kua rite mo nga mahi mahi.
I tua atu i te whakaahei i nga mahi NLP tino angamaheni, penei i te tohu tohu, te wehewehenga rerenga korero, me te tohu wahanga-o-korero, ka taea te whakamahi OpenNLP ki te hanga i nga tono tukatuka kuputuhi uaua ake.
Ko te entropy teitei me te ako miihini-a-perceptron kei roto ano hoki.
AtAKi
- He taputapu whakangungu tauira me nga ahuatanga maha
- Ka aro ki nga mahi NLP taketake me te hiranga atu ki a raatau, tae atu ki te tautuhi hinonga, te rapu kupu, me te tohu tohu.
raruraru
- karekau he kaha matatau; Mena kei te hiahia koe ki te haere tonu me JVM, ko te neke ki CoreNLP te waahanga taiao e whai ake nei.
6. AllenNLP
He pai a AllenNLP mo nga tono arumoni me te tātari raraunga mai i te mea i hangaia i runga i nga taputapu me nga rauemi a PyTorch.
Ka whanake hei taputapu whanui mo te tātari tuhinga.
Koinei tetahi o nga taputapu tukatuka reo maori o te rarangi. I a ia e mahi takitahi ana i etahi atu mahi, ka tukatuka mua a AllenNLP i nga raraunga ma te whakamahi i te kohinga puna tuwhera SpaCy koreutu.
Ko te tohu hoko matua a AllenNLP he ngawari te whakamahi.
Ko te AllenNLP he whakamaarama i te tukanga tukatuka reo maori, he rereke ki etahi atu kaupapa NLP he maha nga waahanga.
Ko te mutunga mai, ko nga hua whakaputa kaore e tino raruraru. He taputapu pai mo te hunga kaore he matauranga nui.
AtAKi
- I whakawhanakehia ki runga ake o PyTorch
- he pai mo te torotoro me te whakamatautau ma te whakamahi i nga tauira tapahi
- Ka taea te whakamahi mo te arumoni me te maatauranga
raruraru
- Kaore e tika ana mo nga kaupapa nui e mahia ana i tenei wa.
Opaniraa
Kei te whakamahi nga kamupene i nga tikanga NLP ki te tango i nga tirohanga mai i nga raraunga tuhinga kaore i hangaia penei i nga imeera, arotake ipurangi, pāpāho pāpori nga panui, me etahi atu. Ko nga taputapu puna-tuwhera he utu-kore, ka urutau, ka hoatu ki nga kaiwhakawhanake nga whiringa whakaritenga katoa.
He aha taau e tatari ana? Whakamahia i tenei wa tonu ka hanga i tetahi mea whakamiharo.
Ka Huri Waehere!
Waiho i te Reply