Table of Contents[Hide][Show]
Kuv paub tseeb tias koj tau hnov txog kev txawj ntse, nrog rau cov lus xws li kev kawm tshuab thiab kev ua cov lus zoo (NLP).
Tshwj xeeb tshaj yog tias koj ua haujlwm rau lub tuam txhab uas tuav ntau pua, yog tias tsis yog ntau txhiab tus neeg siv kev sib cuag txhua hnub.
Kev txheeb xyuas cov ntaub ntawv ntawm kev tshaj tawm xov xwm, emails, kev sib tham, qhib cov lus teb rau cov lus teb, thiab lwm qhov chaw tsis yog txheej txheem yooj yim, thiab nws yuav nyuaj dua thaum tso siab rau tib neeg nkaus xwb.
Tias yog vim li cas coob tus neeg txaus siab rau lub peev xwm ntawm artificial txawj ntse rau lawv txoj haujlwm niaj hnub thiab rau kev lag luam.
AI-powered text tsom xam siv ntau txoj hauv kev los yog algorithms los txhais cov lus organically, ib qho ntawm cov ntsiab lus tsom xam, uas yog siv los nrhiav cov ntsiab lus los ntawm cov ntawv.
Cov lag luam tuaj yeem siv cov qauv kev txheeb xyuas cov ncauj lus kom hloov cov hauj lwm yooj yim rau hauv cov tshuab es tsis yog cov neeg ua hauj lwm overburden nrog cov ntaub ntawv ntau dhau.
Xav txog sijhawm npaum li cas koj pab neeg yuav txuag tau thiab mob siab rau kev ua haujlwm tseem ceeb dua yog tias lub khoos phis tawj tuaj yeem lim los ntawm cov npe tsis kawg ntawm cov neeg siv khoom tshawb fawb lossis cov teeb meem txhawb nqa txhua tag kis.
Hauv phau ntawv qhia no, peb yuav saib mus rau hauv cov qauv qauv, ntau txoj hauv kev ntawm cov qauv tsim qauv, thiab tau txais qee qhov kev paub ua haujlwm nrog nws.
Topic Modeling yog dab tsi?
Kev ua qauv qauv yog ib hom ntawv mining uas tsis muaj kev saib xyuas thiab saib xyuas kev txheeb xyuas tshuab kev kawm Cov tswv yim yog siv los txheeb xyuas cov ncauj lus hauv lub cev lossis qhov ntim tseem ceeb ntawm cov ntawv tsis tsim nyog.
Nws tuaj yeem nqa koj cov ntaub ntawv loj heev thiab siv txoj hauv kev zoo sib xws los npaj cov lus rau hauv pawg lus thiab tshawb pom cov ntsiab lus.
Qhov ntawd zoo li me ntsis nyuaj thiab nyuaj, yog li cia peb ua kom yooj yim cov txheej txheem kev ua qauv!
Xav tias koj tab tom nyeem ntawv xov xwm nrog cov txheej xim xim hauv koj txhais tes.
Tsis yog qhov qub?
Kuv paub tias hnub no, ob peb tus neeg nyeem ntawv xov xwm luam tawm; Txhua yam yog digital, thiab cov ntsiab lus tseem ceeb yog qhov dhau los! Ua cas koj txiv los niam!
Yog li, thaum koj nyeem cov ntawv xov xwm, koj hais txog cov ntsiab lus tseem ceeb.
Ib qho kev xav ntxiv!
Koj siv cov xim sib txawv los hais txog cov ntsiab lus ntawm ntau lub ntsiab lus. Koj categorize cov ntsiab lus nyob ntawm seb cov xim thiab cov ntsiab lus.
Txhua qhov sau los ntawm cov lus cim los ntawm qee cov xim yog cov npe ntawm cov lus tseem ceeb rau ib lub ntsiab lus. Tus nqi ntawm ntau yam xim koj xaiv qhia tus naj npawb ntawm cov ntsiab lus.
Qhov no yog lub ntsiab lus tseem ceeb tshaj plaws qauv qauv. Nws pab hauv kev nkag siab, koom haum, thiab sau cov ntsiab lus ntawm cov ntawv sau loj.
Txawm li cas los xij, nco ntsoov tias kom ua tau zoo, automated topic model yuav tsum muaj ntau cov ntsiab lus. Yog tias koj muaj daim ntawv luv luv, tej zaum koj yuav xav mus kawm ntawv qub thiab siv cov ntsiab lus tseem ceeb!
Nws kuj tseem muaj txiaj ntsig los siv qee lub sijhawm kom paub cov ntaub ntawv. Qhov no yuav ua rau koj muaj kev nkag siab yooj yim ntawm lub ncauj lus qauv yuav tsum pom.
Piv txwv li, daim ntawv teev npe ntawd yuav yog hais txog koj qhov kev sib raug zoo tam sim no thiab yav dhau los. Yog li, kuv yuav cia siab tias kuv cov ntawv mining robot-buddy tuaj nrog cov tswv yim zoo sib xws.
Qhov no tuaj yeem pab koj txheeb xyuas qhov zoo ntawm cov ncauj lus uas koj tau txheeb xyuas thiab, yog tias tsim nyog, tweak cov ntsiab lus tseem ceeb.
Cheebtsam ntawm Topic Modeling
Tus Qauv Ua Haujlwm Zoo
Random variables thiab probability distributions yog muab tso rau hauv lub sawv cev ntawm ib qho kev tshwm sim los yog tshwm sim nyob rau hauv probabilistic qauv.
Tus qauv txiav txim siab muab ib qho kev txiav txim siab rau ib qho kev tshwm sim, whereas tus qauv probabilistic muab ib qho kev faib ua feem raws li kev daws teeb meem.
Cov qauv no xav txog qhov tseeb tias peb tsis tshua muaj kev paub txog qhov xwm txheej. Yuav luag ib txwm muaj ib lub ntsiab lus ntawm randomness los xav txog.
Piv txwv li, kev tuav pov hwm lub neej yog kwv yees ntawm qhov tseeb uas peb paub tias peb yuav tuag, tab sis peb tsis paub thaum twg. Cov qauv no tej zaum yuav yog ib feem txiav txim, ib nrab random, los yog tag nrho random.
Cov ntaub ntawv rov qab
Cov ntaub ntawv retrieval (IR) yog ib qho kev pab cuam software uas npaj, khw muag khoom, retrieves, thiab ntsuam xyuas cov ntaub ntawv los ntawm cov ntaub ntawv repositories, tshwj xeeb tshaj yog cov ntaub ntawv.
Lub thev naus laus zis pab cov neeg siv tshawb pom cov ntaub ntawv lawv xav tau, tab sis nws tsis meej meej xa cov lus teb rau lawv cov lus nug. Nws ceeb toom txog qhov muaj thiab qhov chaw ntawm cov ntaub ntawv uas yuav muab cov ntaub ntawv tsim nyog.
Cov ntaub ntawv ntsig txog yog cov uas ua tau raws li qhov xav tau ntawm tus neeg siv. Ib qho tsis raug IR system yuav rov qab tsuas yog cov ntaub ntawv xaiv.
Ntsiab lus Coherence
Lub ntsiab lus Coherence tau qhab nia ib lub ntsiab lus los ntawm kev suav cov degree ntawm semantic zoo sib xws ntawm cov ntsiab lus cov ntsiab lus siab. Cov kev ntsuas no pab kom paub qhov txawv ntawm cov ncauj lus uas txhais tau hais tias thiab cov ntsiab lus uas yog cov ntaub ntawv keeb kwm inference artifacts.
Yog hais tias ib pab pawg neeg thov los yog qhov tseeb txhawb ib leeg, lawv raug hais kom sib koom ua ke.
Yog li ntawd, qhov sib koom ua ke qhov tseeb tuaj yeem nkag siab hauv cov ntsiab lus uas suav nrog tag nrho lossis feem ntau ntawm qhov tseeb. "Qhov kev ua si yog ib pab neeg ua kis las," "qhov kev ua si yog ua si nrog lub pob," thiab "qhov kev ua si yuav tsum muaj kev siv zog ntawm lub cev" yog tag nrho cov piv txwv ntawm kev sib koom ua ke.
Cov txheej txheem sib txawv ntawm Cov Qauv Qauv
Cov txheej txheem tseem ceeb no tuaj yeem ua los ntawm ntau yam algorithms lossis cov txheej txheem. Ntawm lawv yog:
- Latent Dirichlet Allocation (LDA)
- Tsis yog Negative Matrix Factorization (NMF)
- Latent Semantic Analysis (LSA)
- Probabilistic Latent Semantic Analysis (pLSA)
Latent Dirichlet Allocation (LDA)
Txhawm rau txheeb xyuas kev sib raug zoo ntawm ntau cov ntawv hauv ib lub cev, cov ntsiab lus thiab cov duab kos duab ntawm Latent Dirichlet Allocation yog siv.
Siv qhov Variational Exception Maximization (VEM) mus kom ze, qhov kev kwv yees loj tshaj plaws los ntawm tag nrho cov ntawv sau tau tiav.
Kev lig kev cai, ob peb lo lus saum toj kawg nkaus los ntawm ib lub hnab ntawm cov lus raug xaiv.
Txawm li cas los xij, kab lus no tsis muaj qab hau kiag li.
Raws li cov txheej txheem no, txhua cov ntawv yuav raug sawv cev los ntawm qhov kev faib tawm ntawm cov ncauj lus, thiab txhua lub ntsiab lus los ntawm kev faib cov lus.
Tsis Zoo Matrix Factorization (NMF)
Matrix nrog Non-negative Values Factorization yog ib qho kev txiav-ntug feature extraction mus kom ze.
Thaum muaj ntau yam zoo thiab cov cwj pwm tsis meej lossis muaj qhov tsis zoo, NMF tau txais txiaj ntsig. NMF tuaj yeem tsim cov qauv tseem ceeb, cov ntsiab lus, lossis cov ntsiab lus los ntawm kev sib txuas cov yam ntxwv.
NMF tsim txhua qhov tshwj xeeb raws li kev sib xyaw ua ke ntawm tus cwj pwm qub.
Txhua qhov tshwj xeeb muaj cov txheej txheem coefficients uas sawv cev qhov tseem ceeb ntawm txhua tus cwj pwm ntawm qhov tshwj xeeb. Txhua tus lej tus cwj pwm thiab txhua tus nqi ntawm txhua yam khoom muaj nws tus kheej coefficient.
Tag nrho cov coefficients yog qhov zoo.
Latent Semantic Analysis
Nws yog lwm txoj kev kawm uas tsis muaj kev saib xyuas siv los rho tawm cov koom haum ntawm cov lus hauv cov ntaub ntawv yog latent semantic tsom xam.
Qhov no pab peb xaiv cov ntaub ntawv tsim nyog. Nws lub luag haujlwm tseem ceeb yog txhawm rau txo qhov dimensionality ntawm lub cev loj ntawm cov ntaub ntawv ntawv.
Cov ntaub ntawv tsis tsim nyog no ua lub suab nrov tom qab kom tau txais cov kev xav tsim nyog los ntawm cov ntaub ntawv.
Probabilistic Latent Semantic Analysis (pLSA)
Probabilistic latent semantic tsom xam (PLSA), qee zaum hu ua probabilistic latent semantic indexing (PLSI, tshwj xeeb tshaj yog nyob rau hauv cov ntaub ntawv rov qab cov voj voog), yog ib txoj hauv kev los txheeb xyuas ob hom thiab cov ntaub ntawv tshwm sim.
Qhov tseeb, zoo ib yam li latent semantic tsom xam, los ntawm qhov uas PLSA tshwm sim, ib tug qis-dimensional sawv cev ntawm cov kev hloov pauv tau pom tau los ntawm lawv cov affinity rau tej yam txawv txawv.
Hands-on nrog Topic Modeling hauv Python
Tam sim no, kuv yuav taug kev koj los ntawm kev ua qauv qhia ua qauv nrog Python cov lus programming siv qhov piv txwv ntawm lub ntiaj teb tiag.
Kuv mam li ua qauv qhia cov ntawv tshawb fawb. Cov ntaub ntawv kuv yuav siv ntawm no yog los ntawm kaggle.com. Koj tuaj yeem yooj yim tau txais tag nrho cov ntaub ntawv uas kuv siv hauv qhov haujlwm no los ntawm qhov no nplooj.
Cia peb pib nrog Topic Modeling siv Python los ntawm kev xa tag nrho cov tsev qiv ntawv tseem ceeb:
Cov kauj ruam hauv qab no yog nyeem tag nrho cov ntaub ntawv uas kuv yuav siv hauv txoj haujlwm no:
Tshawb nrhiav cov ntaub ntawv
EDA (Kev Tshawb Fawb Cov Ntaub Ntawv) yog ib txoj hauv kev txheeb xyuas uas siv cov ntsiab lus pom. Nws siv cov ntsiab lus txheeb cais thiab cov duab sawv cev los tshawb pom qhov sib txawv, cov qauv, thiab cov kev ntsuas ntsuas.
Kuv yuav ua qee qhov kev tshawb nrhiav cov ntaub ntawv ua ntej kuv pib ua qauv qauv kom pom tias muaj cov qauv lossis kev sib raug zoo hauv cov ntaub ntawv:
Tam sim no peb yuav pom qhov tsis muaj nuj nqis ntawm cov ntaub ntawv xeem:
Tam sim no kuv yuav npaj ib histogram thiab boxplot los xyuas qhov kev sib raug zoo ntawm qhov sib txawv.
Tus nqi ntawm cov cim nyob rau hauv Abstracts ntawm lub tsheb ciav hlau teeb nws txawv heev.
Ntawm lub tsheb ciav hlau, peb muaj tsawg kawg yog 54 thiab qhov siab tshaj plaws ntawm 4551 cim. 1065 yog qhov nruab nrab ntawm cov cim.
Cov txheej txheem xeem zoo li yuav nthuav ntau dua li qhov kev cob qhia tau teeb tsa txij li qhov kev sim teeb muaj 46 tus cim thaum lub teeb kev cob qhia muaj 2841.
Raws li qhov tshwm sim, cov txheej txheem xeem tau muaj qhov nruab nrab ntawm 1058 tus cim, uas zoo ib yam li cov txheej txheem kev cob qhia.
Tus naj npawb ntawm cov lus nyob rau hauv cov txheej txheem kev kawm ua raws li tus qauv zoo sib xws rau tus lej ntawm cov ntawv.
Yam tsawg kawg ntawm 8 lo lus thiab qhov siab kawg ntawm 665 lo lus raug tso cai. Yog li ntawd, cov lus nruab nrab suav yog 153.
Yam tsawg kawg ntawm xya lo lus hauv qhov kev paub daws teeb meem thiab qhov siab tshaj plaws ntawm 452 cov lus hauv qhov kev xeem yuav tsum tau ua.
Qhov nruab nrab, qhov no, yog 153, uas zoo ib yam li qhov nruab nrab hauv qhov kev cob qhia.
Siv Cov Ntawv Cim rau Cov Qauv Qauv
Muaj ob peb lub ntsiab lus qauv qauv tswv yim. Kuv mam li siv cov cim npe hauv qhov kev tawm dag zog no; Cia peb saib yuav ua li cas los ntawm kev tshuaj xyuas cov cim npe:
Daim ntawv thov ntawm Topic Modeling
- Cov ntawv sau tuaj yeem siv los txheeb xyuas lub ntsiab lus ntawm cov ntaub ntawv lossis phau ntawv.
- Nws tuaj yeem siv los tshem tawm cov neeg sib tw tsis ncaj ncees los ntawm kev xeem cov qhab nia.
- Cov qauv qauv yuav raug siv los tsim kev sib raug zoo ntawm cov lus hauv cov qauv duab.
- Nws tuaj yeem txhim kho kev pabcuam cov neeg siv khoom los ntawm kev tshawb nrhiav thiab teb cov lus tseem ceeb hauv cov neeg siv khoom nug. Cov neeg siv khoom yuav muaj kev ntseeg ntau dua rau koj vim koj tau muab kev pabcuam rau lawv xav tau ntawm lub sijhawm tsim nyog thiab tsis ua rau lawv muaj kev cuam tshuam. Yog li ntawd, cov neeg siv khoom loyalty nce siab heev, thiab lub tuam txhab tsim nyog nce.
xaus
Kev ua qauv qhia cov ntsiab lus yog ib hom qauv kev txheeb cais siv los nthuav tawm cov "cov ntsiab lus" uas muaj nyob hauv cov ntawv sau.
Nws yog ib daim ntawv ntawm cov qauv statistical siv nyob rau hauv tshuab kev kawm thiab kev ua cov lus ntuj los nthuav tawm cov ntsiab lus paub daws teeb meem uas muaj nyob hauv ib pawg ntawm cov ntawv.
Nws yog ib txoj kev mining ntawv uas yog dav siv los nrhiav latent semantic qauv hauv lub cev ntawv.
Sau ntawv cia Ncua