Atọka akoonu[Fipamọ][Ifihan]
Mo da ọ loju pe o ti gbọ ti itetisi atọwọda, ati awọn ọrọ bii ikẹkọ ẹrọ ati sisẹ ede abinibi (NLP).
Paapa ti o ba ṣiṣẹ fun ile-iṣẹ ti o mu awọn ọgọọgọrun, ti kii ba ṣe ẹgbẹẹgbẹrun, ti awọn olubasọrọ alabara ni gbogbo ọjọ.
Itupalẹ data ti awọn ifiweranṣẹ awujọ awujọ, awọn imeeli, awọn iwiregbe, awọn idahun iwadii ipari-ṣii, ati awọn orisun miiran kii ṣe ilana ti o rọrun, ati pe o nira paapaa nigbati o ba fi le awọn eniyan nikan.
Ti o ni idi ti ọpọlọpọ awọn eniyan ni o wa lakitiyan nipa awọn ti o pọju ti oye atọwọda fun iṣẹ ojoojumọ wọn ati fun awọn ile-iṣẹ.
Ṣiṣayẹwo ọrọ ti o ni agbara AI n gba ọpọlọpọ awọn isunmọ tabi awọn algoridimu lati tumọ ede nipa ti ara, ọkan ninu eyiti o jẹ itupalẹ koko, eyiti o lo lati ṣe awari awọn koko-ọrọ laifọwọyi lati awọn ọrọ.
Awọn iṣowo le lo awọn awoṣe itupalẹ koko-ọrọ lati gbe awọn iṣẹ irọrun sori awọn ẹrọ kuku ju awọn oṣiṣẹ apọju pẹlu data pupọju.
Wo iye akoko ti ẹgbẹ rẹ le fipamọ ati ṣe iyasọtọ si iṣẹ pataki diẹ sii ti kọnputa kan le ṣe àlẹmọ nipasẹ awọn atokọ ailopin ti awọn iwadii alabara tabi awọn ọran atilẹyin ni gbogbo owurọ.
Ninu itọsọna yii, a yoo wo inu iṣapẹẹrẹ koko-ọrọ, awọn ọna oriṣiriṣi ti iṣapẹẹrẹ koko, ati ni iriri ọwọ-lori pẹlu rẹ.
Kini Awoṣe Koko?
Awoṣe koko jẹ iru iwakusa ọrọ ninu eyiti ko ni abojuto ati abojuto iṣiro imudani ẹrọ Awọn ilana ni a lo lati ṣe awari awọn aṣa ninu koposi kan tabi iwọn pataki ti ọrọ ti a ko ṣeto.
O le gba ikojọpọ nla ti awọn iwe aṣẹ ati lo ọna ibajọra lati ṣeto awọn ọrọ sinu awọn akojọpọ awọn ofin ati ṣawari awọn koko-ọrọ.
Iyẹn dabi idiju diẹ ati lile, nitorinaa jẹ ki a rọrun ilana ilana awoṣe koko-ọrọ naa!
Ro pe o n ka iwe iroyin kan pẹlu akojọpọ awọn afihan awọ ni ọwọ rẹ.
Se ko ti atijọ?
Mo mọ̀ pé lóde òní, ọ̀pọ̀ èèyàn ló máa ń ka àwọn ìwé ìròyìn tí wọ́n tẹ̀ jáde; ohun gbogbo jẹ oni-nọmba, ati awọn afihan jẹ ohun ti o ti kọja! Ṣe bi ẹni pe o jẹ baba tabi iya rẹ!
Nitorina, nigbati o ba ka iwe iroyin, o ṣe afihan awọn ọrọ pataki.
Ọkan diẹ arosinu!
O lo hue ti o yatọ lati tẹnumọ awọn koko-ọrọ ti awọn akori oriṣiriṣi. O pin awọn koko-ọrọ ti o da lori awọ ti a pese ati awọn akọle.
Akopọ awọn ọrọ kọọkan ti a samisi nipasẹ awọ kan jẹ atokọ ti awọn koko-ọrọ fun koko-ọrọ ti a fun. Awọn iye ti awọn orisirisi awọn awọ ti o mu fihan awọn nọmba ti awọn akori.
Eyi ni apẹrẹ koko pataki julọ. O ṣe iranlọwọ ni oye, iṣeto, ati akopọ ti awọn akojọpọ ọrọ nla.
Sibẹsibẹ, ni lokan pe lati munadoko, awọn awoṣe koko adaṣe nilo akoonu pupọ. Ti o ba ni iwe kukuru, o le fẹ lati lọ si ile-iwe atijọ ati lo awọn afihan!
O tun jẹ anfani lati lo akoko diẹ lati mọ data naa. Eyi yoo fun ọ ni ori ipilẹ ti kini awoṣe koko yẹ ki o wa.
Fun apẹẹrẹ, iwe-iranti yẹn le jẹ nipa awọn ibatan rẹ lọwọlọwọ ati ti iṣaaju. Nitorinaa, Emi yoo nireti ọrọ iwakusa robot-ọrẹ lati wa pẹlu awọn imọran ti o jọra.
Eyi le ṣe iranlọwọ fun ọ lati ṣe itupalẹ didara awọn koko-ọrọ ti o ti ṣe idanimọ ati, ti o ba jẹ dandan, tweak awọn eto koko.
Awọn ẹya ara ti Koko Modelling
Awoṣe iṣeeṣe
Awọn oniyipada laileto ati awọn ipinpinpin iṣeeṣe jẹ dapọ si aṣoju iṣẹlẹ tabi lasan ni awọn awoṣe iṣeeṣe.
Awoṣe ipinnu n pese ipari agbara kan fun iṣẹlẹ kan, lakoko ti awoṣe iṣeeṣe pese pinpin iṣeeṣe kan bi ojutu kan.
Awọn awoṣe wọnyi ṣe akiyesi otitọ pe a ṣọwọn ni oye pipe ti ipo kan. Nibẹ jẹ fere nigbagbogbo ohun ano ti ID a ro.
Fun apẹẹrẹ, iṣeduro igbesi aye jẹ asọtẹlẹ lori otitọ pe a mọ pe a yoo ku, ṣugbọn a ko mọ igba. Awọn awoṣe wọnyi le jẹ ipinnu ni apakan, laileto apakan, tabi laileto patapata.
Imupadabọ Alaye
Imupadabọ Alaye (IR) jẹ eto sọfitiwia ti o ṣeto, tọju, gba pada, ati ṣe iṣiro alaye lati awọn ibi ipamọ iwe, ni pataki alaye ọrọ.
Imọ-ẹrọ ṣe iranlọwọ fun awọn olumulo lati ṣawari alaye ti wọn nilo, ṣugbọn ko ṣe jiṣẹ ni kedere awọn idahun si awọn ibeere wọn. O ṣe akiyesi wiwa ati ipo ti awọn iwe ti o le pese alaye pataki.
Awọn iwe aṣẹ to wulo jẹ awọn ti o pade awọn iwulo olumulo. Eto IR ti ko ni abawọn yoo da awọn iwe aṣẹ ti o yan nikan pada.
Iṣọkan Koko
Isokan koko koko ni koko-ọrọ kan nipa ṣiṣe iṣiro iwọn ibajọra itumọ laarin awọn ọrọ igbelewọn giga ti koko. Awọn metiriki wọnyi ṣe iranlọwọ ni iyatọ laarin awọn koko-ọrọ ti o jẹ itumọ itumọ-ọrọ ati awọn koko-ọrọ ti o jẹ awọn ohun-ini itọkasi iṣiro.
Ti ẹgbẹ kan ti awọn ẹtọ tabi awọn otitọ ba ṣe atilẹyin fun ara wọn, wọn sọ pe wọn jẹ iṣọkan.
Bi abajade, eto otitọ iṣọkan kan le ni oye ni agbegbe ti o ni gbogbo tabi pupọ julọ awọn otitọ. "Ere naa jẹ ere idaraya ẹgbẹ," "ere naa ni a ṣe pẹlu bọọlu kan," ati "ere naa nilo igbiyanju ti ara ti o pọju" jẹ gbogbo apẹẹrẹ ti awọn ipilẹ otitọ iṣọkan.
Awọn ọna oriṣiriṣi ti Awoṣe Koko
Ilana pataki yii le ṣee ṣe nipasẹ ọpọlọpọ awọn algoridimu tabi awọn ilana. Lara wọn ni:
- Pinpin Dirichlet Latent (LDA)
- Isọdi Matrix Ti kii ṣe odi (NMF)
- Itumọ Itumọ Latent (LSA)
- Itupalẹ Itumọ Isọdi Ti o ṣeeṣe (pLSA)
Pipin Dirichlet Latent (LDA)
Lati ṣe awari awọn ibatan laarin awọn ọrọ lọpọlọpọ ninu kopọsi kan, iṣiro ati imọran ayaworan ti Latent Dirichlet Allocation ti lo.
Lilo ọna Iyasọtọ Iyatọ Iyatọ (VEM), iṣiro ti o ṣeeṣe ti o tobi julọ lati inu akojọpọ kikun ti ọrọ jẹ aṣeyọri.
Ni aṣa, awọn ọrọ diẹ ti o ga julọ lati apo awọn ọrọ ni a yan.
Sibẹsibẹ, gbolohun naa jẹ asan patapata.
Gẹgẹbi ilana yii, ọrọ kọọkan yoo jẹ aṣoju nipasẹ pinpin iṣeeṣe ti awọn koko-ọrọ, ati koko-ọrọ kọọkan nipasẹ pinpin iṣeeṣe ti awọn ọrọ.
Iṣiro Matrix Ti kii ṣe odi (NMF)
Matrix pẹlu Iṣalaye Awọn iye ti kii ṣe odi jẹ ọna isediwon ẹya-ara gige-eti.
Nigbati ọpọlọpọ awọn agbara ba wa ati awọn abuda jẹ aiduro tabi ni asọtẹlẹ ti ko dara, NMF jẹ anfani. NMF le ṣe ipilẹṣẹ awọn ilana pataki, awọn koko-ọrọ, tabi awọn akori nipa apapọ awọn abuda.
NMF n ṣe ipilẹṣẹ ẹya kọọkan gẹgẹbi apapọ laini ti ipilẹ abuda atilẹba.
Ẹya kọọkan ni akojọpọ awọn iye-iye ti o ṣe aṣoju pataki ti ẹya kọọkan lori ẹya naa. Iwa oni-nọmba kọọkan ati iye kọọkan ti abuda ẹka kọọkan ni iye-iye tirẹ.
Gbogbo awọn iye-iye jẹ rere.
Itumọ Itumọ Latent
O jẹ ọna ikẹkọ ti ko ni abojuto miiran ti a lo lati yọkuro awọn ẹgbẹ laarin awọn ọrọ inu akojọpọ awọn iwe aṣẹ jẹ itupalẹ atunmọ wiwaba.
Eyi ṣe iranlọwọ fun wa lati yan awọn iwe aṣẹ to dara. Iṣẹ akọkọ rẹ ni lati dinku iwọn-ara ti koposi nla ti data ọrọ.
Awọn data ti ko wulo wọnyi ṣiṣẹ bi ariwo abẹlẹ ni gbigba awọn oye pataki lati inu data naa.
Itupalẹ Itumọ Isọdi Ti o ṣeeṣe (pLSA)
Onínọmbà onísọ̀rọ̀ oníṣeéṣe (PLSA), nígbà míràn tí a mọ̀ sí atọ́ka ìtúmọ̀ ìtumọ̀ ìṣeéṣeéṣe (PLSI, ní pàtàkì nínú àwọn àyíká ìmúpadàbọ̀ ìwífún), jẹ́ ọ̀nà ìṣirò fún ṣíṣe ìtúpalẹ̀ ìpo méjì àti data ìṣẹlẹ-iṣẹlẹ.
Ni otitọ, iru si iṣiro atunmọ wiwaba, lati eyiti PLSA ti jade, aṣoju iwọn-kekere ti awọn oniyipada ti a ṣe akiyesi le jẹ ti ari ni awọn ofin ti ibatan wọn si awọn oniyipada farasin pato.
Ọwọ-lori pẹlu Koko Modeling ni Python
Bayi, Emi yoo rin ọ nipasẹ iṣẹ iyansilẹ awoṣe koko-ọrọ pẹlu Python ede siseto lilo a gidi-aye apẹẹrẹ.
Emi yoo ṣe apẹẹrẹ awọn nkan iwadii. Awọn dataset ti Emi yoo lo nibi wa lati kaggle.com. O le ni irọrun gba gbogbo awọn faili ti Mo nlo ninu iṣẹ yii lati inu eyi Page.
Jẹ ki a bẹrẹ pẹlu Awoṣe Koko ni lilo Python nipa gbigbe gbogbo awọn ile-ikawe pataki wọle:
Igbesẹ atẹle ni lati ka gbogbo awọn ipilẹ data ti Emi yoo lo ninu iṣẹ yii:
Onínọmbà Data Exploratory
EDA (Itupalẹ Data Exploratory) jẹ ọna iṣiro ti o nlo awọn eroja wiwo. O nlo awọn akopọ iṣiro ati awọn aṣoju ayaworan lati ṣawari awọn aṣa, awọn ilana, ati awọn arosọ idanwo.
Emi yoo ṣe itupalẹ data aṣawakiri diẹ ṣaaju ki MO to bẹrẹ awoṣe akọle lati rii boya awọn ilana eyikeyi tabi awọn ibatan wa ninu data naa:
Bayi a yoo rii awọn iye asan ti data idanwo naa:
Bayi Emi yoo ṣe igbero histogram kan ati apoti apoti lati ṣayẹwo ibatan laarin awọn oniyipada.
Awọn ohun kikọ ninu awọn Abstracts ti Reluwe ṣeto yato gidigidi.
Lori ọkọ oju irin, a ni o kere ju 54 ati pe o pọju awọn ohun kikọ 4551. 1065 jẹ apapọ iye awọn ohun kikọ.
Eto idanwo naa dabi ẹni pe o nifẹ diẹ sii ju eto ikẹkọ lọ lati igba ti eto idanwo naa ni awọn ohun kikọ 46 lakoko ti eto ikẹkọ ni 2841.
Bi abajade, eto idanwo naa ni agbedemeji ti awọn ohun kikọ 1058, eyiti o jọra si eto ikẹkọ.
Nọmba awọn ọrọ ti o wa ninu eto ẹkọ tẹle ilana ti o jọra si nọmba awọn lẹta.
Awọn ọrọ 8 kere ju ati pe o pọju awọn ọrọ 665 ni a gba laaye. Bi abajade, iye ọrọ agbedemeji jẹ 153.
Awọn ọrọ meje ti o kere ju ninu ohun áljẹbrà ati pe o pọju awọn ọrọ 452 ninu eto idanwo ni a nilo.
Agbedemeji, ninu ọran yii, jẹ 153, eyiti o jẹ aami si agbedemeji ni eto ikẹkọ.
Lilo Awọn afi fun Awoṣe Koko
Awọn ọgbọn awoṣe awoṣe pupọ lo wa. Emi yoo lo awọn afi ni idaraya yii; jẹ ki a wo bi o ṣe le ṣe nipasẹ ṣiṣe ayẹwo awọn afi:
Awọn ohun elo ti Koko Modeling
- Akopọ ọrọ le ṣee lo lati mọ koko ọrọ ti iwe tabi iwe.
- O le ṣee lo lati yọ abosi oludije kuro ninu igbelewọn idanwo.
- Awoṣe akọle le ṣee lo lati kọ awọn ibatan atunmọ laarin awọn ọrọ ni awọn awoṣe ti o da lori iwọn.
- O le mu iṣẹ alabara pọ si nipa wiwa ati didahun si awọn koko-ọrọ ninu ibeere alabara. Awọn alabara yoo ni igbagbọ diẹ sii ninu rẹ niwọn igba ti o ti pese wọn pẹlu iranlọwọ ti wọn nilo ni akoko ti o yẹ ati laisi fa wahala eyikeyi. Bi abajade, iṣootọ alabara ga pupọ, ati pe iye ti ile-iṣẹ pọ si.
ipari
Awoṣe akọle jẹ iru awoṣe iṣiro ti a lo lati ṣe awari “awọn koko-ọrọ” ti o wa ninu akojọpọ awọn ọrọ.
O jẹ fọọmu ti awoṣe iṣiro ti a lo ninu imudani ẹrọ ati sisẹ ede ti ara lati ṣipaya awọn imọran áljẹbrà ti o wa ninu akojọpọ awọn ọrọ.
O jẹ ọna iwakusa ọrọ ti o jẹ lilo pupọ lati wa awọn ilana atunmọ wiwaba ninu ọrọ ara.
Fi a Reply