Tafole ea likateng[Pata][Bontša]
Kea kholoa u utloile ka bohlale ba maiketsetso, hammoho le mantsoe a kang ho ithuta ka mochini le ho sebetsa ha puo ea tlhaho (NLP).
Haholo-holo haeba u sebeletsa feme e sebetsanang le batho ba makholo, kapa ba likete, letsatsi le letsatsi.
Tlhahlobo ea datha ea lipapatso tsa mecha ea litaba ea sechaba, li-imeile, lipuisano, likarabo tsa lipatlisiso tse bulehileng, le mehloli e meng ha se ts'ebetso e bonolo, 'me e ba thata le ho feta ha e behiloe ho batho feela.
Ke kahoo batho ba bangata ba chesehelang bokhoni ba ho bohlale ba maiketsetso bakeng sa mosebetsi oa bona oa letsatsi le letsatsi le oa likhoebo .
Tlhahlobo ea mongolo e matlafalitsoeng ke AI e sebelisa mefuta e mengata e mengata ea mekhoa kapa li-algorithms ho fetolela puo ka mokhoa o hlophisitsoeng, e 'ngoe ea eona ke tlhahlobo ea lihlooho, e sebelisetsoang ho iphumanela litaba tse tsoang litemaneng.
Likhoebo li ka sebelisa mefuta ea tlhahlobo ea lihlooho ho fetisetsa mesebetsi e bonolo mochining ho fapana le ho imetsa basebetsi ka data e ngata haholo.
Nahana hore na sehlopha sa hau se ka boloka nako e kae le ho e sebelisa mosebetsing oa bohlokoa haholo haeba komporo e ka khona ho sefa lethathamong le sa feleng la lipatlisiso tsa bareki kapa litaba tsa tšehetso hoseng ho hong le ho hong.
Tataisong ena, re tla shebana le mohlala oa lihlooho, mekhoa e fapaneng ea ho etsa mohlala oa lihlooho, le ho fumana boiphihlelo ka eona.
Topic Modeling ke Eng?
Mohlala oa sehlooho ke mofuta oa merafo ea mongolo eo ho eona ho nang le lipalo-palo tse sa laoleheng le tse hlokometsoeng ho ithuta mochine mahlale a sebelisoa ho bona litloaelo ho corpus kapa palo e kholo ea mongolo o sa hlophisoang.
E ka nka pokello ea hau e kholo ea litokomane mme oa sebelisa mokhoa oa ho ts'oana ho hlophisa mantsoe ka lihlopha tsa mantsoe le ho fumana lihlooho.
Seo se bonahala se rarahane ebile se thata, kahoo ha re nolofatse mokhoa oa ho etsa mohlala oa litaba!
Nka hore u bala koranta e nang le sete ea li-highlighters tse mebala letsohong la hao.
Na hoo ha se ntho ea khale?
Kea hlokomela hore matsatsing ana, ke batho ba ’maloa ba balang likoranta tse hatisitsoeng; ntho e 'ngoe le e' ngoe ke ea dijithale, 'me li-highlighters ke ntho ea nako e fetileng! O iketse ntate kapa mmao!
Kahoo, ha u bala koranta, u totobatsa mantsoe a bohlokoa.
Khopolo e 'ngoe hape!
U sebelisa 'mala o fapaneng ho hatisa mantsoe a sehlooho a lihlooho tse fapaneng. U arola mantsoe a sehlooho ho latela 'mala o fanoeng le lihlooho.
Pokello ka 'ngoe ea mantsoe a tšoailoeng ka 'mala o itseng ke lethathamo la mantsoe a sehlooho bakeng sa sehlooho se fanoeng. Palo ea mebala e fapaneng eo u e khethileng e bonts'a palo ea lihlooho.
Ena ke mohlala oa mantlha oa sehlooho. E thusa ho utloisisa, ho hlophisa, le ho akaretsa pokello e kholo ea mongolo.
Leha ho le joalo, hopola hore ho atleha, mehlala ea lihlooho tse ikemetseng li hloka litaba tse ngata. Haeba u na le pampiri e khutšoanyane, u ka 'na ua batla ho ea sekolong sa khale le ho sebelisa li-highlighters!
Hape ho molemo ho qeta nako e itseng u tseba lintlha. Sena se tla u fa kutloisiso ea mantlha ea hore na mohlala oa sehlooho o lokela ho fumana eng.
Mohlala, bukana eo e kanna ea bua ka likamano tsa hau tsa hajoale le tsa pele. Kahoo, ke ne ke tla lebella hore motsoalle oa ka oa merafo ea liroboto a tle ka maikutlo a tšoanang.
Sena se ka u thusa ho sekaseka boleng ba lithuto tseo u li khethileng, 'me, ha ho hlokahala, u fetole mantsoe a sehlooho.
Likaroloana tsa Mohlala oa Sehlooho
Mohlala oa Probabilistic
Liphetoho tse sa reroang le kabo ea menyetla li kenyellelitsoe ho kemelong ea ketsahalo kapa ketsahalo ka mefuta e ka bang teng.
Mohlala oa boithuto o fana ka sephetho se le seng sa ketsahalo, athe mohlala oa probabilistic o fana ka kabo ea monyetla joalo ka tharollo.
Mehlala ena e nka 'nete ea hore ke ka seoelo re nang le tsebo e felletseng ea boemo. Ho na le hoo e ka bang kamehla ho na le ntlha ea tšohanyetso e lokelang ho nahanoa.
Ka mohlala, inshorense ea bophelo e itšetlehile ka 'nete ea hore rea tseba hore re tla shoa, empa ha re tsebe neng. Mefuta ena e ka 'na ea e-ba ea boikhethelo, e sa reroang, kapa ka ho feletseng.
Ho Khutlisa Boitsebiso
Retrieval Information (IR) ke lenaneo la software le hlophisang, le boloka, le lata, le ho lekola tlhahisoleseling ho tsoa polokelong ea litokomane, haholo-holo tlhahisoleseling.
Theknoloji e thusa basebelisi ho fumana lintlha tseo ba li hlokang, empa ha e fane ka likarabo tse hlakileng lipotsong tsa bona. E tsebisa ka boteng le sebaka sa lipampiri tse ka fanang ka boitsebiso bo hlokahalang.
Litokomane tse amehang ke tse khotsofatsang litlhoko tsa mosebelisi. Sistimi e se nang molato ea IR e tla khutlisa litokomane tse khethiloeng feela.
Momahano ya Sehlooho
Kamano ea Sehlooho e fana ka lintlha tsa sehlooho se le seng ka ho bala tekanyo ea ho tšoana ha mantsoe pakeng tsa mantsoe a phahameng a sehlooho. Li-metrics tsena li thusa ho khetholla lipakeng tsa lithuto tse ka tolokoang ka mokhoa oa semantiki le lihlooho tseo e leng li-artifacts tsa lipalo-palo.
Haeba sehlopha sa lipolelo kapa lintlha li tšehetsana, ho boleloa hore lia lumellana.
Ka lebaka leo, lintlha tse momahaneng tse behiloeng li ka utloisisoa moelelong o akaretsang lintlha tsohle kapa boholo ba lintlha. “Papali ke papali ea sehlopha,” “papali e bapaloa ka bolo,” ’me “papali e hloka boiteko bo matla ba ’mele” kaofela ke mehlala ea lihlopha tsa lintlha tse momahaneng.
Mekhoa e Fapaneng ea Mohlala oa Sehlooho
Ts'ebetso ena ea bohlokoa e ka etsoa ka li-algorithms kapa mekhoa e fapaneng. Har'a tsona ke:
- Latent Dirichlet Allocation (LDA)
- Non Negative Matrix Factorization (NMF)
- Latent Semantic Analysis (LSA)
- Probabilistic Latent Semantic Analysis(pLSA)
Latent Dirichlet Allocation(LDA)
Ho bona likamano lipakeng tsa lingoloa tse ngata ka har'a corpus, ho sebelisoa mohopolo oa lipalo le oa litšoantšo oa Latent Dirichlet Allocation.
Ho sebelisoa mokhoa oa Variational Exception Maximization (VEM), ho fihleloa khakanyo e kholo ka ho fetisisa ea monyetla ho tsoa ho sehlopha se felletseng sa mongolo.
Ka tloaelo, mantsoe a seng makae a ka holimo a tsoang mokotleng oa mantsoe a khethoa.
Leha ho le joalo, polelo eo ha e na moelelo ka ho feletseng.
Go ya ka thekeniki e, setlhangwa sengwe le sengwe se tla emelwa ke kabo ya dirutwa tse di ka kgonegang, mme setlhogo sengwe le sengwe se tla emelwa ke kabo ya mafoko ka kgonagalo.
Non Negative Matrix Factorization(NMF)
Matrix e nang le Non-Negative Values Factorization ke mokhoa o tsoetseng pele oa ho hula likarolo.
Ha ho na le litšoaneleho tse ngata 'me litšoaneleho li sa hlaka kapa li na le ho se tsebe hantle esale pele, NMF e molemo. NMF e ka hlahisa lipaterone tsa bohlokoa, lithuto, kapa lihlooho ka ho kopanya litšobotsi.
NMF e hlahisa karolo e 'ngoe le e 'ngoe e le motsoako oa linear oa sete sa semelo sa mantlha.
Karolo e 'ngoe le e' ngoe e na le sehlopha sa li-coefficients tse emelang bohlokoa ba tšobotsi e 'ngoe le e 'ngoe ea tšobotsi. Tšobotsi e 'ngoe le e' ngoe ea linomoro le boleng bo bong le bo bong ba karolo ka 'ngoe e na le coefficient ea eona.
Li-coefficients kaofela li ntle.
Latent Semantic Analysis
Ke mokhoa o mong oa ho ithuta o sa laoleheng o sebelisetsoang ho hula likamano lipakeng tsa mantsoe ka sete ea litokomane ke tlhahlobo ea semantic e patehileng.
Sena se re thusa ho khetha litokomane tse nepahetseng. Mosebetsi oa eona oa mantlha ke ho fokotsa boholo ba corpus e kholo ea data ea mongolo.
Lintlha tsena tse sa hlokahaleng li sebetsa e le lerata le ka morao la ho fumana lintlha tse hlokahalang ho tsoa ho data.
Probabilistic Latent Semantic Analysis(pLSA)
Probabilistic latent semantic analysis (PLSA), eo ka linako tse ling e tsejoang e le probabilistic latent semantic indexing (PLSI, haholo-holo ka har'a selikalikoe sa ho khutlisa boitsebiso), ke mokhoa oa lipalo-palo oa ho hlahloba lintlha tsa mekhoa e 'meli le liketsahalo tse kopanetsoeng.
Ebile, ho ts'oana le tlhahlobo ea semantic e patehileng, eo PLSA e hlahileng ho eona, kemelo e tlase ea mefuta e bonoang e ka fumanoa ho latela kamano ea bona le mefuta e itseng e patiloeng.
Hats-on with Topic Modelling in Python
Joale, ke tla u tsamaisa ka kabelo ea mohlala oa thuto le Python puo mananeo ho sebelisa mohlala oa sebele oa lefatše.
Ke tla be ke etsa mohlala oa lingoliloeng tsa lipatlisiso. Lintlha tseo ke tla be ke li sebelisa mona li tsoa kaggle.com. U ka fumana lifaele tsohle tseo ke li sebelisang mosebetsing ona habonolo leqepheng la.
Ha re qaleng ka Topic Modeling re sebelisa Python ka ho kenya lilaebrari tsohle tsa bohlokoa:
Mohato o latelang ke ho bala li-dataset tsohle tseo ke tla beng ke li sebelisa mosebetsing ona:
Tlhahlobo ea Boitsebiso
EDA (Exploratory Data Analysis) ke mokhoa oa lipalo-palo o sebelisang likarolo tsa pono. E sebelisa likakaretso tsa lipalo-palo le litšoantšo tsa litšoantšo ho sibolla mekhoa, lipaterone le mehopolo ea liteko.
Ke tla etsa tlhahlobo ea data ea boithuto pele ke qala ho etsa mohlala oa sehlooho ho bona hore na ho na le lipaterone kapa likamano ho data:
Joale re tla fumana boleng ba lefeela ba dataset ea liteko:
Joale ke tla be ke rera histogram le boxplot ho lekola kamano lipakeng tsa mefuta e fapaneng.
Palo ea batho ba hlahang ho Abstracts of the Train set a fapana haholo.
Ka tereneng, re na le bonyane litlhaku tse 54 le palo e kholo ea litlhaku tse 4551. 1065 ke palo e tloaelehileng ea litlhaku.
Sehlopha sa liteko se shebahala se thahasellisa ho feta koetliso e behiloeng ho tloha ha tlhahlobo ea teko e na le litlhaku tse 46 ha setsi sa koetliso se na le 2841.
Ka lebaka leo, tlhahlobo ea teko e ne e e-na le moelelo oa litlhaku tsa 1058, tse tšoanang le setsi sa koetliso.
Palo ea mantsoe sehlopheng sa thuto e latela mokhoa o tšoanang le oa palo ea litlhaku.
Bonyane mantsoe a 8 le boholo ba mantsoe a 665 a lumelletsoe. Ka lebaka leo, palo ea mantsoe a mahareng ke 153.
Ho hlokahala bonyane mantsoe a supileng a papisong le boholo ba mantsoe a 452 sehlopheng sa teko.
Bohareng, tabeng ena, ke 153, e ts'oanang le ea bohareng ba setsi sa koetliso.
Ho Sebelisa Li-tag bakeng sa Mohlala oa Sehlooho
Ho na le mekhoa e mengata ea ho etsa mohlala oa lihlooho. Ke tla sebelisa li-tag boikoetlisong bona; Ha re shebeng mokhoa oa ho etsa joalo ka ho hlahloba li-tag:
Lisebelisoa tsa ho Etsa Mohlala oa Sehlooho
- Kakaretso ea mongolo e ka sebelisoa ho lemoha sehlooho sa tokomane kapa buka.
- E ka sebelisoa ho tlosa leeme la mokhethoa ho tsoa ho lintlha tsa tlhahlobo.
- Mohlala oa sehlooho o ka sebelisoa ho aha likamano tsa semantic lipakeng tsa mantsoe mefuteng e thehiloeng ho kerafo.
- E ka ntlafatsa litšebeletso tsa bareki ka ho lemoha le ho araba mantsoe a bohlokoa potsong ea moreki. Bareki ba tla ba le tumelo e kholo ho uena kaha u ba file thuso eo ba e hlokang ka nako e nepahetseng ntle le ho ba bakela mathata. Ka lebaka leo, botšepehi ba bareki bo nyoloha haholo, 'me boleng ba k'hamphani bo eketseha.
fihlela qeto e
Mohlala oa sehlooho ke mofuta oa lipalo-palo o sebelisetsoang ho utolla "lithuto" tse teng pokellong ea litemana.
Ke mofuta oa mohlala oa lipalo-palo o sebelisitsoeng ho ho ithuta mochine le tshebediso ya puo ya tlhaho ho utolla mehopolo e sa bonahaleng e teng sehlopheng sa dingolwa.
Ke mokhoa oa merafo oa mongolo o sebelisoang haholo ho fumana mekhoa e patehileng ea semantic mongolong oa 'mele.
Leave a Reply