Tafole ea likateng[Pata][Bontša]
Re qeta nako e ngata re buisana le batho inthaneteng ka meqoqo, imeile, liwebsaete le mecha ea litaba ea sechaba.
Bongata bo boholo ba data ea mongolo eo re e hlahisang motsotsoana o mong le o mong ha re e ele hloko, empa, eseng kamehla.
Liketso le litlhahlobo tsa bareki li fa mekhatlo tlhahisoleseding ea bohlokoahali mabapi le seo bareki ba se ananelang le ho se amohele thepa le litšebeletso, hammoho le seo ba se batlang ho tsoa ho brand.
Leha ho le joalo, likhoebo tse ngata li ntse li thatafalloa ke ho fumana mokhoa o sebetsang ka ho fetisisa oa tlhahlobo ea data.
Kaha boholo ba lintlha ha lia hlophisoa, lik'homphieutha li thatafalloa ke ho li utloisisa, 'me ho li hlophisa ka letsoho ho ka nka nako haholo.
Ho sebetsana le data e ngata ka letsoho ho ba boima, ho nyahamisa, ebile ha ho bonolo ha feme e ntse e hola.
Ka lehlohonolo, Natural Language Processing e ka u thusa ho fumana leseli le nang le temohisiso ho mongolo o sa hlophisoang le ho rarolla mathata a mangata a tlhahlobo ea mongolo, ho kenyeletsoa. maikutlo a maikutlo, ho arola lihlooho, le tse ling.
Ho etsa hore puo ea batho e utloisisehe mecheng ke sepheo sa lefapha la bohlale la maiketsetso la ho sebetsa ha puo ea tlhaho (NLP), le sebelisang lipuo le mahlale a khomphutha.
NLP e thusa likhomphutha hore li itlhahlobe ka bo eona palo e kholo ea data, e u nolofalletsa ho tseba tlhahisoleseling e nepahetseng kapele.
Mongolo o sa hlophisoang (kapa mefuta e meng ea puo ea tlhaho) e ka sebelisoa le mefuta e mengata ea mahlale ho utolla lintlha tse nang le temohisiso le ho rarolla mathata a 'maloa.
Leha e se e felletseng, lenane la lisebelisoa tse bulehileng tse hlahisitsoeng ka tlase ke sebaka se setle sa ho qala ho mang kapa mang kapa mokhatlo ofe kapa ofe o ratang ho sebelisa puo ea tlhaho mererong ea bona.
1. NLTK
Motho a ka pheha khang ea hore Natural Language Toolkit (NLTK) ke sesebelisoa se ruileng ka ho fetisisa seo ke se shebileng.
Hoo e ka bang mekhoa eohle ea NLP ea kengoa ts'ebetsong, ho kenyelletsa karohano, tokenization, stemming, tagging, parsing, le ho beha mabaka ka semantic.
U ka khetha algorithm e nepahetseng kapa mokhoa oo u batlang ho o sebelisa hobane hangata ho na le lits'ebetso tse 'maloa tse fumanehang bakeng sa e' ngoe le e 'ngoe.
Lipuo tse ngata le tsona lia tšehetsoa. Le hoja e le molemo bakeng sa mehaho e bonolo, taba ea hore e emela lintlha tsohle e le likhoele e etsa hore ho be thata ho sebelisa bokhoni bo itseng bo rarahaneng.
Ha e bapisoa le lisebelisoa tse ling, laebrari le eona e botsoa hanyane.
Lintho tsohle tse nahanoang, sena ke sesebelisoa se setle sa liteko, boithuto le lits'ebetso tse hlokang motsoako o itseng oa li-algorithms.
Pros
- Ke laeborari e tsebahalang haholo le e felletseng ea NLP e nang le litlatsetso tse 'maloa tsa boraro.
- Ha ho bapisoa le lilaebrari tse ling, e tšehetsa lipuo tse ngata.
tlhoka mesola
- ho thata ho utloisisa le ho sebelisa
- E lieha
- ha ho mehlala ea marangrang a neural
- E arola feela sengolwa ka dipolelo ntle le ho ela hloko semantiki
2. Spacy
SpaCy ke mohanyetsi ea ka sehloohong oa NLTK. Leha e na le ts'ebetso e le 'ngoe feela bakeng sa karolo e' ngoe le e 'ngoe ea NLP, hangata e potlakile.
Ho feta moo, ntho e 'ngoe le e' ngoe e emeloa e le ntho ho e-na le khoele, e nolofatsang sebopeho sa ho ntlafatsa lisebelisoa.
Ho ba le kutloisiso e tebileng ea data ea hau ea mongolo ho tla u thusa ho fihlela ho feta.
Sena se boetse se etsa hore ho be bonolo hore e hokahane le meralo e meng e mengata le lisebelisoa tsa mahlale a data. Empa ha e bapisoa le NLTK, SpaCy ha e tšehetse lipuo tse ngata.
E na le mefuta e mengata ea li-neural bakeng sa likarolo tse fapaneng tsa ts'ebetso le tlhahlobo ea puo, hammoho le sebopeho se otlolohileng sa mosebelisi se nang le mefuta e mengata e khuts'oane ea likhetho le litokomane tse ntle haholo.
Ho feta moo, SpaCy e hahiloe ho amohela palo e kholo ea data mme e ngotsoe ka botlalo.
E boetse e kenyelletsa mefuta e mengata ea mekhoa ea ho sebetsana le puo ea tlhaho e seng e koetlisitsoe, e leng ho nolofalletsang ho ithuta, ho ruta le ho sebelisa mokhoa oa tlhaho oa puo le SpaCy.
Ka kakaretso, sena ke sesebelisoa se setle haholo bakeng sa lits'ebetso tse ncha tse sa hlokeng mokhoa o itseng mme li hloka ho etsoa tlhahiso.
Pros
- Ha e bapisoa le lintho tse ling, e potlakile.
- Ho ithuta le ho e sebelisa ho bonolo.
- mehlala e koetlisoa ka ho sebelisa marang-rang a neural
tlhoka mesola
- ho fokotsa ho ikamahanya le maemo ha ho bapisoa le NLTK
3. Gensim
Mekhoa e sebetsang ka ho fetesisa le e bonolo ea ho hlahisa litokomane joalo ka li-vector tsa semantic e fihlelleha ka ho sebelisa moralo o ikhethileng oa mohloli o bulehileng oa Python o tsejoang ka hore ke Gensim.
Gensim e entsoe ke bangoli ho sebetsana le mongolo o hlakileng, o sa hlophisoang o sebelisa mefuta e mengata ea ho ithuta mochine mekhoa; ka hona, ke mohopolo o bohlale ho sebelisa Gensim ho sebetsana le mesebetsi e kang Topic Modelling.
Ho feta moo, Gensim e atleha ho fumana ho tšoana ha mongolo, li-index tsa litaba, le ho tsamaea lipakeng tsa litemana tse fapaneng.
Ke e khethehileng haholo Laebrari ea Python ho tsepamisa maikutlo mesebetsing ea ho etsa mohlala oa lihlooho ho sebelisa Latent Dirichlet Allocation le mekhoa e meng ea LDA).
Ho feta moo, ho molemo haholo ho fumana litemana tse tšoanang, ho ngolla litemana, le ho bala lipampiri.
Sesebelisoa sena se sebetsana le palo e kholo ea data ka nepo le ka potlako. Mona ke tse ling tsa lithupelo tsa ho qala.
Pros
- bonolo segokanyimmediamentsi sa sebolokigolo
- tshebediso e ntle ya dikgatotharabololo tse tsebahalang
- Sehlopheng sa lik'homphieutha, e ka etsa kabo ea Dirichlet e patehileng le tlhahlobo ea semantic e patehileng.
tlhoka mesola
- Hangata e reretsoe ho etsa mohlala oa mongolo o sa laoleheng.
- Ha e na phala e felletseng ea NLP 'me e lokela ho sebelisoa hammoho le lilaebrari tse ling tse kang Spacy kapa NLTK.
4. TextBlob
TextBlob ke mofuta oa katoloso ea NLTK.
Ka TextBlob, o ka fihlella mesebetsi e mengata ea NLTK habonolo, mme TextBlob e boetse e kenyelletsa bokhoni ba laeborari ea Paterone.
Sena e ka ba sesebelisoa sa bohlokoa seo u ka se sebelisang ha u ntse u ithuta haeba u sa tsoa qala, 'me se ka sebelisoa tlhahisong ea lits'ebetso tse sa hlokeng ts'ebetso e ngata.
E fana ka sebopeho se bonolo le se bonolo sa basebelisi ho etsa mesebetsi e tšoanang ea NLP.
Ke khetho e ntle bakeng sa ba qalang ba lakatsang ho etsa mesebetsi ea NLP joalo ka tlhahlobo ea maikutlo, karohano ea mongolo, le ho tšoaea karolo ea puo hobane nako ea eona ea ho ithuta e tlase ho feta lisebelisoa tse ling tse bulehileng.
TextBlob e sebelisoa haholo ebile e ntle bakeng sa merero e menyenyane ka kakaretso.
Pros
- Sehokelo sa basebelisi ba laeborari se bonolo ebile se hlakile.
- E fana ka boitsebiso ba puo le litšebeletso tsa phetolelo ho sebelisoa Google Translate.
tlhoka mesola
- Ha e bapisoa le tse ling, e lieha.
- Ha ho mefuta ea marang-rang a neural
- Ha ho li-vector tsa mantsoe tse kopantsoeng
5. OpenNLP
Ho bonolo ho kenyelletsa OpenNLP le merero e meng ea Apache joalo ka Apache Flink, Apache NiFi, le Apache Spark hobane e tsamaisoa ke Apache Foundation.
Ke sesebelisoa se felletseng sa NLP se ka sebelisoang ho tsoa moleng oa taelo kapa joalo ka laeborari ts'ebetsong.
E kenyelletsa likarolo tsohle tse tloaelehileng tsa ts'ebetso ea NLP.
Ho feta moo, e fana ka tšehetso e pharalletseng ea puo. Haeba u sebelisa Java, OpenNLP ke sesebelisoa se matla se nang le tonne ea bokhoni bo lokiselitsoeng mesebetsi ea tlhahiso.
Ntle le ho nolofalletsa mesebetsi e tloaelehileng ka ho fetisisa ea NLP, joalo ka tokenization, karohano ea polelo, le ho tšoaea karolo ea puo, OpenNLP e ka sebelisoa ho theha lits'ebetso tse rarahaneng tsa ho sebetsana le mongolo.
Boholo ba ho ithuta ka mochini oa entropy le perceptron le bona bo kenyelelitsoe.
Pros
- Sesebelisoa sa koetliso sa mohlala se nang le likarolo tse 'maloa
- E tsepamisitse maikutlo mesebetsing ea mantlha ea NLP mme e ipabola ho eona, ho kenyelletsa le boitsebahatso ba mokhatlo, ho lemoha mantsoe, le tokenization.
tlhoka mesola
- ha e na bokhoni bo rarahaneng; haeba u batla ho tsoela pele ka JVM, ho fallela CoreNLP ke mohato o latelang oa tlhaho.
6. AllenNLP
AllenNLP e loketse lits'ebetso tsa khoebo le tlhahlobo ea data kaha e hahiloe holim'a lisebelisoa le lisebelisoa tsa PyTorch.
E ntshetsa pele ho ba sesebediswa se akaretsang tsohle bakeng sa tshekatsheko ya mongolo.
Sena se etsa hore e be e 'ngoe ea lisebelisoa tse tsoetseng pele tsa ho sebetsana le puo ea tlhaho. Ha a ntse a etsa mesebetsi e meng ka boikemelo, AllenNLP e sebelisa data esale pele e sebelisa sephutheloana sa mahala sa SpaCy se bulehileng.
Ntlha ea bohlokoa ea ho rekisa ea AllenNLP ke hore na ho bonolo hakae ho e sebelisa.
AllenNLP e nolofatsa ts'ebetso ea puo ea tlhaho, ho fapana le mananeo a mang a NLP a kenyelletsang li-module tse 'maloa.
Ka lebaka leo, liphetho tsa sephetho ha ho mohla li ikutloang li ferekanya. Ke sesebelisoa fantastis bakeng sa ba se nang tsebo e ngata.
Pros
- E ntlafalitsoe ka holim'a PyTorch
- e ntle haholo bakeng sa ho hlahloba le ho etsa liteko ka ho sebelisa mefuta e tsoetseng pele
- E ka sebelisoa ka bobeli khoebong le lithutong
tlhoka mesola
- Ha ea lokela merero e meholo e ntseng e etsoa hajoale.
fihlela qeto e
Likhamphani li sebelisa mekhoa ea NLP ho fumana leseli ho tsoa ho data ea mongolo e sa hlophisoang joalo ka li-imeile, litlhahlobo tsa inthaneteng, metswedi ya dikgang lipapatso, le tse ling. Lisebelisoa tsa Open-source ha li na litšenyehelo, lia fetoha, 'me li fa ba ntlafatsang likhetho tse felletseng tsa ho li etsa.
U emetse eng? Li sebelise hang-hang 'me u thehe ntho e makatsang.
Thabile Coding!
Leave a Reply