Ripanga o Ihirangi[Huna][Whakaatu]
E mohio ana ahau kua rongo koe mo te matauranga hangai, me nga kupu penei i te ako miihini me te tukatuka reo maori (NLP).
Ina koa ki te mahi koe mo tetahi umanga e whakahaere ana i nga rau, ki te kore nga mano, o nga hoapaki kiritaki ia ra.
Ko te wetewete raraunga mo nga panui paapori, imeera, korerorero, whakautu rangahau tuwhera, me etahi atu puna korero ehara i te mea ngawari, ka uaua ake ka tukuna ki nga tangata anake.
Ko te aha te maha o nga tangata e hikaka ana ki te kaha o mātauranga horihori mo a raatau mahi o ia ra, mo nga umanga.
Ko te tātari tuhinga a AI-powered e whakamahi ana i te whānuitanga o nga huarahi, algorithms ranei hei whakamaori i te reo, ko tetahi ko te tātari kaupapa, e whakamahia ana ki te rapu aunoa i nga kaupapa mai i nga tuhinga.
Ka taea e nga pakihi te whakamahi i nga tauira tātari kaupapa ki te whakawhiti mahi ngawari ki runga miihini, kaua ki te taumaha i nga kaimahi he nui rawa nga raraunga.
Whakaarohia te nui o te wa ka penapenahia e to roopu me te whakapau ki nga mahi tino nui mena ka taea e te rorohiko te tarai i nga rarangi mutunga kore o nga rangahau a nga kaihoko me nga take tautoko ia ata.
I roto i tenei aratohu, ka titiro tatou ki te whakatauira kaupapa, nga tikanga rereke mo te whakatauira kaupapa, me te whai wheako-a-ringa.
He aha te Whakatauira Kaupapa?
Ko te whakatauira kaupapa he momo keri kupu e mau ana te tauanga kaore i te tirotirohia akoranga mīhini Ka whakamahia nga tikanga ki te kite i nga ia i roto i te tinana, i te nui ranei o nga tuhinga kore hanga.
Ka taea e koe te kohikohi tuhinga nui me te whakamahi tikanga rite ki te whakariterite i nga kupu ki roto i nga huinga kupu ka kitea nga kaupapa.
He ahua uaua, he uaua hoki tena, no reira me whakangawari te tikanga whakatauira kaupapa!
Whakaarohia kei te panui koe i tetahi niupepa me te huinga o nga miramira tae i to ringa.
Ehara i te mea he tawhito?
E mohio ana ahau i enei ra, he tokoiti nga tangata e panui ana i nga niupepa kua taia; he matihiko nga mea katoa, he mea o mua nga mea miramira! Whakaarohia ko koe to papa, whaea ranei!
Na, ka panui koe i te niupepa, ka tohu koe i nga kupu whakahirahira.
Kotahi ano te whakapae!
Ka whakamahi koe i tetahi hue rereke hei whakanui i nga kupu matua o nga kaupapa rereke. Ka whakarōpūhia e koe nga kupu matua i runga i te tae me nga kaupapa e whakaratohia ana.
Ko ia kohinga kupu kua tohua e tetahi tae he rarangi kupu matua mo tetahi kaupapa. Ko te nui o nga momo tae i kohia e koe e whakaatu ana i te maha o nga kaupapa.
Koinei te tino whakatauira kaupapa matua. Ka awhina i te maaramatanga, te whakariterite me te whakarapopototanga o nga kohinga tuhinga nui.
Heoi, kia maumahara ki te whai hua, ko nga tauira kaupapa aunoa me nui te ihirangi. Mena he pepa poto taau, ka hiahia pea koe ki te haere ki te kura tawhito me te whakamahi i nga miramira!
He pai hoki te whakapau i etahi wa ki te mohio ki nga raraunga. Ma tenei ka mohio koe ki nga mea e tika ana kia kitea e te tauira kaupapa.
Hei tauira, ko tera rataka mo o whanaungatanga o naianei me o mua. No reira, ko taku whakaaro ka puta mai he whakaaro rite ki taku robot-hoa maina tuhinga.
Ma tenei ka awhina koe ki te tātari pai ake i te kounga o nga kaupapa kua tohua e koe, a, ki te tika, takawiri i nga huinga kupu matua.
Nga Waahanga o te Whakatauira Kaupapa
Tauira Tupono
Ko nga taurangi matapōkere me te tohatoha tūponotanga ka whakauruhia ki roto i te whakaaturanga o tetahi huihuinga, ahuatanga ranei i roto i nga tauira tūponotanga.
Ko te tauira whakatau he whakatau kotahi pea mo tetahi huihuinga, engari ko te tauira tuponotanga he tohanga tūponotanga hei otinga.
Ka whakaarohia e enei tauira te mooni he iti nei te tino mohio ki tetahi ahuatanga. Tata tonu he huānga o te matapōkere hei whakaaro.
Hei tauira, ko te inihua ora kei runga i te pono e mohio ana tatou ka mate tatou, engari kaore tatou e mohio ahea. Ko enei tauira he waahanga motuhake, he waahanga matapōkere, he matapōkere katoa ranei.
Tiki korero
Ko te Tiaki korero (IR) he kaupapa rorohiko e whakarite ana, e penapena ana, e tango ana, e arotake ana i nga korero mai i nga putunga tuhinga, ina koa nga korero tuhinga.
Ko te hangarau ka awhina i nga kaiwhakamahi ki te kite i nga korero e hiahiatia ana e ratou, engari kaore i te marama te whakaatu i nga whakautu ki o raatau patai. Ka whakamohio atu mo te waahi me te waahi o nga pepa ka taea te whakarato i nga korero e tika ana.
Ko nga tuhinga e tika ana ko nga mea e tutuki ana i nga hiahia o te kaiwhakamahi. Ko te punaha IR kore he ka whakahoki mai i nga tuhinga kua tohua.
Kaupapa Hononga
Ka tohua e te Topic Coherence tetahi kaupapa ma te tatau i te tohu o te rite o nga kupu i waenga i nga kupu tohu-nui o te kaupapa. Ka awhina enei inenga ki te wehewehe i waenga i nga marau ka taea te whakamaori i te reo me nga kaupapa he toi whakatauranga tauanga.
Mena ka tautoko tetahi roopu kerēme, meka ranei tetahi ki tetahi, ka kiia he pai.
Ko te mutunga mai, ka taea te mohio ki te huinga meka whakakotahi i roto i te horopaki e uru ana ki te katoa, te nuinga ranei o nga meka. "Ko te keemu he hakinakina kapa," "ka takarohia te keemu ki te poi," me "te keemu me whakapau kaha tinana" he tauira katoa o nga huinga meka whakakotahi.
Nga Tikanga Rerekē mo te Whakatauira Kaupapa
Ka taea te whakahaere i tenei tikanga nui ma te maha o nga momo algorithms me nga tikanga. I roto ia ratou ko:
- Tohanga Dirichlet Latent (LDA)
- Tauwehe Pouaka Kore Toraro (NMF)
- Tātaritanga Semantic Latent (LSA)
- Tātaritanga Semantic Latent (pLSA)
Tohanga Dirichlet Latent(LDA)
Hei kite i nga hononga i waenga i nga tuhinga maha i roto i te tinana, ka whakamahia te ariā tatauranga me te whakairoiro o Latent Dirichlet Allocation.
Ma te whakamahi i te huarahi Whakamōrahi Whakakotahitanga rerekē (VEM), ka tutuki te whakatau tata nui rawa mai i te katoa o te tuhinga.
I nga wa o mua, ka kowhiria nga kupu o runga mai i te putea kupu.
Heoi, he tino koretake te rerenga korero.
E ai ki tenei tikanga, ko ia tuhinga ka whakaatuhia e te tohatoha o nga kaupapa, me ia kaupapa ma te tohatoha kupu pea.
Tauwehe Pouaka Kore Toraro(NMF)
Matrix with Non-Negative Values Factorization is a cutting-edge feature extraction approach.
Ina he maha nga ahuatanga me nga huanga he maamaa, he ngoikore ranei te matapae, ka whai hua a NMF. Ka taea e NMF te whakaputa tauira nui, kaupapa, kaupapa ranei ma te whakakotahi i nga ahuatanga.
Ka hangaia e NMF ia ahuatanga hei huinga raina o te huinga huanga taketake.
Kei ia ahuatanga he huinga whakarea e tohu ana i te hiranga o ia huanga i runga i te ahuatanga. Ko ia huanga tau me ia uara o ia huanga kāwai he taunga ake.
He takatika katoa nga whakarea.
Te Tirohanga Semantic Latent
Ko tetahi atu tikanga ako kaore i te tirotirohia hei tango i nga hononga i waenga i nga kupu i roto i te huinga tuhinga ko te tātari kupu huna.
Ka awhina tenei i a maatau ki te whiriwhiri i nga tuhinga tika. Ko tana mahi tuatahi ko te whakaiti i te rahinga o te kohinga nui o nga raraunga kuputuhi.
Ko enei raraunga koretake he haruru papamuri mo te whiwhi i nga maaramatanga e tika ana mai i nga raraunga.
Tātaritanga Semantic Latent (pLSA)
Ko te PLSA, ka kiia ko te probabilistic latent semantic indexing (PLSI, ina koa i roto i nga porowhita tiki korero), he huarahi tauanga mo te wetewete i nga aratau-rua me nga raraunga tahi.
Inaa, he rite ki te tātaritanga kupu huna, i puta mai te PLSA, ka taea te whakaputa i te ahua iti o nga taurangi kua kitea i runga i te hononga ki etahi taurangi huna.
Nga ringaringa me te Whakatauira Kaupapa i te Python
Inaianei, ka haere ahau ki a koe i roto i tetahi mahi whakatauira kaupapa me te Python reo reo te whakamahi i tetahi tauira o te ao.
Ka whakatauira au i nga tuhinga rangahau. Ko te huinga raraunga ka whakamahia e au i konei i ahu mai i te kaggle.com. Ka taea e koe te tiki i nga konae katoa e whakamahia ana e au i tenei mahi mai i tenei Whārangi.
Me timata tatou ki te Whakatauira Kaupapa ma te whakamahi i te Python ma te kawemai i nga whare pukapuka katoa:
Ko te mahi e whai ake nei ko te panui i nga huingararaunga katoa ka whakamahia e au mo tenei mahi:
Te Raraunga Tuhura
Ko te EDA (Te Tirohanga Raraunga Tuhura) he tikanga tauanga e whakamahi ana i nga huānga tirohanga. Ka whakamahi i nga whakarāpopototanga tauanga me nga whakaaturanga kauwhata kia kitea nga ia, tauira, me nga whakapae whakamatautau.
Ka mahia e au etahi tātaritanga raraunga torotoro i mua i taku tiimata ki te whakatauira kaupapa kia kite mena he tauira, he hononga ranei kei roto i nga raraunga:
Inaianei ka kitea e tatou nga uara kore o te huingararaunga whakamatautau:
Inaianei ka whakatakotohia e ahau he tohu tohu me te pouaka pouaka hei tirotiro i te hononga i waenga i nga taurangi.
He rerekee te nui o nga tohu i roto i nga Abstracts of the Train set.
I runga i te tereina, he iti rawa te 54 me te nui rawa o te 4551 tohu. Ko te 1065 te rahinga toharite o nga tohu.
He pai ake te ahua o te huinga whakamatautau i te huinga whakangungu i te mea he 46 nga tohu o te huinga whakamatautau, ko te huinga whakangungu he 2841.
Ko te mutunga mai, ko te huinga whakamatautau he tau waenga o nga tohu 1058, he rite ki te huinga whakangungu.
Ko te maha o nga kupu o te huinga ako e whai ana i te ahua rite ki te maha o nga reta.
Ka whakaaetia kia 8 nga kupu me te 665 nga kupu. Ko te mutunga mai, ko te tatauranga o te kupu waenga he 153.
Kia whitu nga kupu i roto i te waahanga waahanga me te 452 nga kupu kei roto i te huinga whakamatautau.
Ko te tauwaenga, i tenei keehi, he 153, he rite tonu ki te tauwaenga o te huinga whakangungu.
Te whakamahi i nga Tohu mo te Whakatauira Kaupapa
He maha nga rautaki whakatauira kaupapa. Ka whakamahi au i nga tohu i tenei mahi; kia titiro tatou me pehea te mahi ma te tirotiro i nga tohu:
Nga Whakatauira Kaupapa
- Ka taea te whakamahi i te whakarāpopototanga kuputuhi ki te mohio ki te kaupapa o te tuhinga, pukapuka ranei.
- Ka taea te whakamahi ki te tango i nga tohu a te kaitono mai i nga tohu whakamatautau.
- Ka whakamahia pea te whakatauira kaupapa ki te hanga i nga hononga kupu i waenga i nga kupu i roto i nga tauira kauwhata.
- Ka taea e ia te whakarei ake i te ratonga kiritaki ma te kimi me te whakautu ki nga kupu matua i roto i te patai a te kiritaki. Ka nui ake te whakapono o nga kaihoko ki a koe i te mea kua hoatu e koe nga awhina e hiahiatia ana e ratou i te wa e tika ana, me te kore e raru. Ko te mutunga mai, ka tino piki te pono o te kiritaki, ka piki te utu o te kamupene.
Opaniraa
Ko te whakatauira kaupapa he momo whakatauira tauanga hei hura i nga "kaupapa" waitara kei roto i te kohinga tuhinga.
He ahua o te tauira tauanga e whakamahia ana i roto akoranga mīhini me te tukatuka reo maori ki te hura i nga ariā waitara kei roto i te huinga tuhinga.
He tikanga keri kupu e whakamahia whanuitia ana ki te kimi tauira kupu huna i roto i te tuhinga tinana.
Waiho i te Reply