Lisi o Mataupu[Natia][Fa'aali]
Ou te mautinoa na e faʻalogo i le atamai faʻapitoa, faʻapea foʻi ma upu e pei o le aʻoaʻoina o masini ma le gagana faʻanatura (NLP).
Ae maise pe afai e te faigaluega mo se kamupani e fa'atautaia le fiaselau, pe a le o le faitau afe, o tagata fa'afeso'ota'i i aso uma.
Su'esu'ega o fa'amaumauga o fa'asalalauga fa'asalalau fa'aagafesootai, imeli, talatalanoaga, tali su'esu'ega tatala, ma isi fa'apogai e le o se faiga faigofie, ma e sili atu ona faigata pe a tu'uina atu na'o tagata.
O le mafuaaga lena o le tele o tagata e naunau i le gafatia o Atamai fa'apitoa mo a latou galuega i lea aso ma lea aso ma pisinisi .
E fa'aaogaina e le AI-powered text analysis le tele o auala po'o algorithms e fa'aliliu ai le gagana fa'aletino, o se tasi o ia mea o le su'esu'ega autu, lea e fa'aaogaina e otometi ai ona maua mataupu mai tusitusiga.
E mafai e Pisinisi ona fa'aogaina fa'ata'ita'iga au'ili'ili autu e fa'aliliu ai galuega faigofie i masini nai lo le fa'atupuina o tagata faigaluega i le tele o fa'amaumauga.
Mafaufau i le tele o le taimi e mafai ai e lau 'au ona faʻapolopolo ma tuʻuina atu i galuega e sili atu ona taua pe afai e mafai e se komepiuta ona faʻamama i lisi e le gata o suʻesuʻega a tagata faatau poʻo mataupu lagolago i taeao uma.
I totonu o lenei taʻiala, o le a tatou vaʻavaʻai i faʻataʻitaʻiga autu, auala eseese o faʻataʻitaʻiga autu, ma maua ni poto masani i ai.
O le a le Fa'ata'ita'iga Autu?
Fa'ata'ita'iga autu o se ituaiga o la'u tusitusiga lea e le va'aia ma va'aia fa'amaumauga masini suʻesuʻe o lo'o fa'aogaina auala e su'e ai aga i totonu o se tino po'o se tele tele o tusitusiga e le'i fa'atulagaina.
E mafai ona ave lau aoina tele o pepa ma faʻaoga se auala tutusa e faʻatulaga ai upu i fuifui o faaupuga ma maua ai mataupu.
E foliga mai e fai si lavelave ma faigata, se'i fa'afaigofie le faiga o le fa'ata'ita'iina o mataupu!
Fa'apea o lo'o e faitauina se nusipepa o lo'o i lou lima se seti o fa'ailoga lanu.
E le o se mea tuai ea lena?
Ua ou iloa o nei aso, e toaitiiti tagata e faitau i nusipepa i lomiga; o mea uma lava e fa'atekinolosi, ma fa'ailoga o se mea o le taimi ua tuana'i! Faafoliga o lou tama po o lou tina!
O lea la, a e faitau i le nusipepa, e te faʻamamafaina upu taua.
E tasi le isi manatu!
E te fa'aogaina se lanu 'ese'ese e fa'amamafa ai upu autu o autu 'ese'ese. E te fa'avasegaina fa'aupuga fa'atatau ile lanu ma autu ua tu'uina atu.
O fa'aputuga ta'itasi o upu e fa'ailogaina i se lanu patino o se lisi o fa'aupuga mo se autu tu'uina atu. O le aofa'i o lanu eseese na e filifilia e fa'aalia ai le aofa'i o autu.
O le fa'ata'ita'iga autu autu lea. E fesoasoani i le malamalama, fa'atulagaina, ma le aotelega o fa'aputuga o tusitusiga tetele.
Ae ui i lea, ia manatua o le lelei, o faʻataʻitaʻiga autu otometi e manaʻomia ai le tele o mea. Afai e iai sau pepa puʻupuʻu, atonu e te manaʻo e alu i le aʻoga tuai ma faʻaaoga mea faʻamalamalama!
E aoga foi le faʻaaluina o sina taimi e iloa ai faʻamatalaga. O lenei mea o le a tu'uina atu ai ia te oe se lagona fa'avae o mea e tatau ona maua e le fa'ata'ita'iga autu.
Mo se faʻataʻitaʻiga, o lena api talaaga atonu o loʻo faʻatatau i au mafutaga i le taimi nei ma muamua. O le mea lea, ou te faʻamoemoe i laʻu text mining robot-buddy e sau ma manatu tutusa.
E mafai ona fesoasoani lea ia te oe e su'esu'e lelei le tulaga lelei o mata'upu ua e fa'ailoaina ma, pe a mana'omia, tweak seti upu autu.
Vaega o Fa'ata'ita'iga Autu
Fa'ata'ita'iga Fa'ailoga
O suiga fa'afuase'i ma fa'asoa fa'alavelave e tu'ufa'atasia i le fa'atusaina o se mea na tupu po'o se fa'alavelave i fa'ata'ita'iga fa'apitoa.
O se fa'ata'ita'iga fa'ata'ita'iga e tu'uina atu ai se fa'ai'uga e tasi mo se mea e tupu, ae o se fa'ata'ita'iga fa'ata'ita'iga e tu'uina atu ai se fa'asoa fa'alavelave e fai ma fofo.
O nei faʻataʻitaʻiga e mafaufau i le mea moni e seasea tatou maua le malamalama atoatoa i se tulaga. E toetoe lava i ai i taimi uma se elemene o le faʻafuaseʻi e mafaufau i ai.
Mo se faʻataʻitaʻiga, o inisiua ola e faʻatatau i le mea moni tatou te iloa o le a tatou oti, ae tatou te le iloa poʻo afea. O nei fa'ata'ita'iga e mafai ona fa'amautu se vaega, fa'atosina, pe fa'afuase'i atoa.
Fa'amatalaga Fa'amatalaga
Fa'amatalaga toe maua (IR) ose polokalame fa'akomepiuta e fa'atulaga, teuina, toe aumai, ma iloilo fa'amatalaga mai fale teu fa'amaumauga, aemaise fa'amatalaga tusitusia.
O le tekonolosi e fesoasoani i tagata faʻaoga e suʻe faʻamatalaga latou te manaʻomia, ae e le o manino le tuʻuina atu o tali ia latou fesili. E logoina le iai ma le nofoaga o pepa e mafai ona maua ai faʻamatalaga talafeagai.
O pepa fa'atatau o mea ia e fetaui ma mana'oga o le tagata fa'aoga. Ole fa'aogaina ole IR e fa'afo'i na'o pepa ua filifilia.
Autu Fesootai
Topic Coherence e togi se autu e tasi e ala i le fuafuaina o le tikeri o le tutusa o upu i le va o faaupuga maualuga a le autu. O nei fua fa'atatau e fesoasoani i le fa'avasegaina o mata'upu e mafai ona fa'amatalaina fa'aupuga ma autu e fa'atatau i fa'amaumauga fa'afuainumera.
Afai e lagolagoina e se vaega o tagi poʻo mea moni le tasi ma le isi, e faʻapea e tutusa.
O le i'uga, e mafai ona malamalama i se fa'amatalaga tu'ufa'atasi e aofia uma po'o le tele o mea moni. “O le taʻaloga o se taʻaloga a le au,” “o le taʻaloga e taʻalo i se polo,” ma “o le taʻaloga e manaʻomia ai se taumafaiga malosi faaletino” o faʻataʻitaʻiga uma ia o seti mea moni.
Metotia Eseese ole Fa'ata'ita'iga Autu
O lenei faiga taua e mafai ona faʻatinoina i le tele o algorithms poʻo metotia. Faatasi ai ma i latou o:
- Latent Dirichlet Allocation (LDA)
- Fa'afuafuaina Fa'ailoga Fa'aleaga (NMF)
- Su'esu'ega Fa'asinomaga Natia (LSA)
- Fa'ata'ita'iga Latent Semantic Analysis(pLSA)
Latent Dirichlet Allocation(LDA)
Ina ia iloa sootaga i le va o le tele o tusitusiga i totonu o se tino, o le fuainumera ma faʻataʻitaʻiga ata o le Latent Dirichlet Allocation e faʻaaogaina.
O le fa'aogaina o le Fa'afuainumera Fa'a'ese'esega Fa'aopoopo (VEM), e maua ai le fa'atusatusaga sili ona tele mai le 'ato'atoa o tusitusiga.
I le masani ai, o nai upu pito i luga mai se taga o upu e filifilia.
Peitai, o le faasalaga e matua leai lava se uiga.
E tusa ai ma lenei metotia, o tusitusiga taʻitasi o le a faʻatusalia e se tufatufaga faʻapitoa o mataupu, ma mataupu taʻitasi i se tufatufaga faʻafuaseʻi o upu.
Fa'afuafuaga Fa'asinoala e Le Fa'aletonu (NMF)
Matrix with Non-Negative Values Factorization o se faiga fa'apena fa'apitoa e aveese mai ai.
Afai e tele uiga ma uiga e le manino pe e le lelei le vaʻaia, e aoga le NMF. E mafai e le NMF ona fa'atupuina fa'asologa taua, mataupu, po'o autu e ala i le tu'ufa'atasia o uiga.
E fa'atupuina e le NMF vaega ta'itasi o se tu'ufa'atasiga laina o le seti uiga muamua.
O vaega ta'itasi o lo'o i ai se seti o coefficient e fa'atusalia le taua o uiga ta'itasi i luga ole ata. O uiga fa'anumera ta'itasi ma tau ta'itasi o uiga fa'avasega ta'itasi e iai lona fa'atatau.
O coefficient uma e lelei.
Latent Semantic Analysis
O le isi metotia a'oa'oga e le'i va'aia e fa'aaogaina e fa'aaoga ai feso'ota'iga i le va o upu i se seti o fa'amaumauga o le latent semantic analysis.
E fesoasoani lea ia i matou e filifili pepa talafeagai. O lana galuega autu o le fa'aitiitia o le tele o le tele o fa'amaumauga o tusitusiga.
O nei fa'amatalaga e le mana'omia e fai ma pisa i tua i le mauaina o fa'amatalaga talafeagai mai fa'amaumauga.
Fa'ata'ita'iga Latent Semantic Analysis(pLSA)
Probabilistic latent semantic analysis (PLSA), o nisi taimi e ta'ua o le probabilistic latent semantic indexing (PLSI, aemaise lava i li'o e maua mai ai fa'amatalaga), o se faiga fa'afuainumera mo le su'esu'eina o fa'amaumauga e lua ma fa'atasi.
O le mea moni, e tutusa ma le latent semantic analysis, lea na aliaʻe mai ai le PLSA, o se faʻataʻitaʻiga maualalo o le vaʻaia vaʻaia e mafai ona maua mai i le tulaga o lo latou vavalalata i ni suiga patino natia.
Fa'ata'ita'iga ma Autu ile Python
Ia, o le a ou savalia oe i se galuega faʻataʻitaʻiga mataupu ma le Python polokalame o polokalame fa'aaogaina o se fa'ata'ita'iga moni o le lalolagi.
O le a ou fa'ata'ita'iina tusitusiga su'esu'e. Ole fa'amaumauga ole a ou fa'aogaina iinei e sau mai le kaggle.com. E faigofie ona e mauaina uma faila o loʻo ou faʻaogaina i lenei galuega mai lenei itulau.
Sei o tatou amata ile Topic Modeling e faʻaaoga ai le Python e ala i le faʻaulufaleina mai o faletusi taua uma:
O le laasaga o loʻo mulimuli mai o le faitau uma o faʻamaumauga o le a ou faʻaaogaina i lenei galuega:
Su'esu'ega Fa'amatalaga Fa'amatalaga
EDA (Exploratory Data Analysis) o se metotia faʻafuainumera e faʻaaogaina elemene vaaia. E fa'aogaina fa'amaumauga fa'afuainumera ma fa'ata'ita'iga fa'akalafi e su'e ai aga, fa'asologa, ma fa'ata'ita'iga o su'ega.
O le a ou faia ni su'esu'ega o fa'amaumauga a'o le'i amataina le fa'ata'ita'iga autu e va'ai pe iai ni fa'asologa po'o so'oga i fa'amaumauga:
O lea la o le a matou mauaina le aoga o le faʻamaumauga o suʻega:
O lenei o le a ou taupulepule se histogram ma boxplot e siaki le sootaga i le va o fesuiaiga.
Ole aofa'i o mata'itusi i le Abstracts of the Train set e matua'i eseese.
I luga o le nofoaafi, o loʻo i ai le laʻititi o le 54 ma le maualuga o le 4551 mataitusi. 1065 o le aofa'i masani o mata'itusi.
O le seti su'ega e foliga mai e sili atu le manaia nai lo le seti a'oa'oga talu ai o le seti su'ega e 46 mataitusi ae o le seti a'oa'oga e 2841.
O se taunuuga, o le seti suʻega sa i ai le vaeluaga o le 1058 mataitusi, e tutusa ma le seti aʻoaʻoga.
O le numera o upu i le seti aʻoaʻoga e mulimuli i se mamanu tutusa ma le numera o mataitusi.
Ole la'ititi ole 8 upu ma le maualuga ole 665 upu e fa'atagaina. O le i'uga, e 153 le faitau aofa'i o upu.
E mana'omia le itiiti ifo i le fitu upu ile fa'amatalaga ma le maualuga ole 452 upu ile seti su'ega.
O le vaeluagalemu, i lenei tulaga, e 153, lea e tutusa ma le vaeluagalemu i le seti aʻoaʻoga.
Fa'aaogā Fa'ailoga mo le Fa'ata'ita'iga o Autu
E tele ta'iala fa'ata'ita'iga autu. O le a ou faʻaogaina pine i lenei faʻamalositino; seʻi o tatou vaʻavaʻai pe faʻapefea ona fai e ala i le suʻesuʻeina o pine:
Fa'aaogāga o Fa'ata'ita'iga Autu
- E mafai ona fa'aoga se aotelega o tusitusiga e iloatino ai le autu o se pepa po'o se tusi.
- E mafai ona fa'aoga e aveese ai le fa'aituau o sui mai le togi o su'ega.
- E mafai ona fa'aoga le fa'ata'ita'iga autu e fausia ai so'otaga fa'auiga i le va o upu i fa'ata'ita'iga fa'atatau i kalafi.
- E mafai ona fa'aleleia le auaunaga a tagata e ala i le su'eina ma le tali atu i upu autu ile su'esu'ega a le kalani. O le a tele le fa'atuatuaga a le au fa'atau ia te oe talu ai ua e tu'uina atu ia i latou le fesoasoani latou te mana'omia i le taimi talafeagai ma e aunoa ma le fa'alavelaveina o i latou. O le i'uga, ua matua'i fa'atupula'ia le fa'amaoni o tagata o tausia, ma fa'atupula'ia le tau o le kamupani.
iʻuga
Fa'ata'ita'iga autu o se ituaiga fa'ata'ita'iga fa'afuainumera e fa'aaogaina e fa'aalia ai "mataupu" fa'apitoa o lo'o iai i totonu o le aoina o tusitusiga.
O se ituaiga o fa'ata'ita'iga fa'afuainumera fa'aaogaina i masini suʻesuʻe ma le fa'agaioiina o le gagana fa'anatura e fa'ailoa ai manatu fa'apitoa o lo'o iai i se seti o tusitusiga.
Ose auala eliina ai tusitusiga e masani ona fa'aoga e su'e ai fa'ata'ita'iga latent semantic i totonu o tusitusiga a le tino.
Tuua se tali