Natural Language Processing (NLP) e fetotse tsela eo re sebelisanang le mechini. Hona joale, lits'ebetso tsa rona le software li ka sebetsana le ho utloisisa puo ea batho.
E le taeo ea bohlale ba maiketsetso, NLP e shebana le tšebelisano ea puo ea tlhaho lipakeng tsa likhomphutha le batho.
E thusa mechini ho sekaseka, ho utloisisa le ho kopanya puo ea batho, ho bula lisebelisoa tse ngata joalo ka temoho ea puo, phetolelo ea mochini, maikutlo a maikutlo, le li-chatbots.
E entse tsoelo-pele e kholo lilemong tsa morao tjena, e lumellang mechine hore e se ke ea utloisisa puo feela empa hape e e sebelise ka boqhetseke le ka nepo.
Sehloohong sena, re tla sheba mefuta e fapaneng ea lipuo tsa NLP. Kahoo, latela, 'me re ithute ka mehlala ena!
1. BERT
BERT (Bidirectional Encoder Representations ho tsoa ho Transformers) ke mohlala oa puo o tsoetseng pele oa Natural Language Processing (NLP). E thehiloe ka 2018 ke g mme e ipapisitse le meralo ea Transformer, a neural network e ahiloeng ho toloka ho kenya ka tatellano.
BERT ke moetso oa puo o koetlisitsoeng esale pele, ho bolelang hore e koetlisitsoe ka lintlha tse ngata tsa mongolo ho lemoha mekhoa ea puo ea tlhaho le sebopeho.
BERT ke mohlala oa mahlakore a mabeli, ho bolelang hore e khona ho utloisisa moelelo le moelelo oa mantsoe ho latela lipoleloana tsa bona tse fetileng le tse latelang, e leng ho etsang hore e atlehe haholoanyane ho utloisisa moelelo oa lipolelo tse rarahaneng.
E sebetsa joang?
Ho ithuta ho sa behoang leihlo ho sebelisoa ho koetlisa BERT ka bongata bo boholo ba data ea mongolo. BERT e fumana bokhoni ba ho lemoha mantsoe a sieo polelong kapa ho arola lipolelo nakong ea koetliso.
Ka thuso ea koetliso ena, BERT e ka hlahisa likhatiso tsa boleng bo holimo tse ka sebelisoang mesebetsing e fapaneng ea NLP, ho kenyeletsoa tlhahlobo ea maikutlo, karohano ea mongolo, likarabo tsa lipotso, le tse ling.
Ho feta moo, BERT e ka ntlafatsoa morerong o itseng ka ho sebelisa dataset e nyane ho tsepamisa maikutlo mosebetsing oo ka ho khetheha.
Bert e Sebelisa Hokae?
BERT e sebelisoa khafetsa lits'ebetsong tse fapaneng tse tsebahalang tsa NLP. Ka mohlala, Google e e sebelisitse ho eketsa ho nepahala ha liphetho tsa enjine ea ho batla, ha Facebook e e sebelisitse ho ntlafatsa likhothaletso tsa eona.
BERT e boetse e sebelisitsoe tlhahlobong ea maikutlo a chatbot, phetolelo ea mochini, le kutloisiso ea puo ea tlhaho.
Ho feta moo, BERT e hiriloe libakeng tse 'maloa lipatlisiso tsa thuto lipampiri ho ntlafatsa ts'ebetso ea mehlala ea NLP mesebetsing e fapaneng. Ka kakaretso, BERT e fetohile sesebelisoa sa bohlokoa bakeng sa barutehi le litsebi tsa NLP, 'me tšusumetso ea eona taeong e lebelletsoe ho eketseha le ho feta.
2. Roberta
RoBERTa (Robustly Optimized BERT Approach) ke mohlala oa puo bakeng sa ts'ebetso ea puo ea tlhaho e lokollotsoeng ke Facebook AI ka 2019. Ke mofuta o ntlafalitsoeng oa BERT o reretsoeng ho hlola litšitiso tse ling tsa mofuta oa BERT oa mantlha.
RoBERTa e ile ea koetlisoa ka mokhoa o ts'oanang le oa BERT, ntle le hore RoBERTa e sebelisa lintlha tse ngata tsa koetliso le ho ntlafatsa mokhoa oa koetliso ho fumana ts'ebetso e phahameng.
RoBERTa, joalo ka BERT, ke mohlala oa puo o koetlisitsoeng esale pele o ka lokisoang hantle ho fihlela ho nepahala ho phahameng mosebetsing o fanoeng.
E sebetsa joang?
RoBERTa e sebelisa leano la ho ithuta le itlhokomelang ho koetlisa ka bongata bo boholo ba data ea mongolo. E ithuta ho bolela esale pele mantsoe a sieo lipolelong le ho arola lipoleloana ka lihlopha tse ikhethileng nakong ea koetliso.
RoBERTa e boetse e sebelisa mekhoa e mengata e tsoetseng pele ea koetliso, joalo ka masking a matla, ho eketsa bokhoni ba mohlala ba ho akaretsa lintlha tse ncha.
Ho feta moo, ho eketsa bonnete ba eona, RoBERTa e sebelisa lintlha tse ngata ho tsoa mehloling e mengata, ho kenyeletsoa Wikipedia, Common Crawl, le BooksCorpus.
Re ka Sebelisa RoBERTa Hokae?
Roberta e sebelisoa hangata bakeng sa tlhahlobo ea maikutlo, karohano ea mongolo, lebitso la mokgatlo boitsebiso, phetolelo ea mochine, le likarabo tsa lipotso.
E ka sebelisoa ho ntša lintlha tse nepahetseng ho tsoa ho data e sa hlophisoang ea mongolo joalo ka metswedi ya dikgang, maikutlo a bareki, lingoliloeng tsa litaba, le mehloli e meng.
RoBERTa e sebelisitsoe lits'ebetsong tse ikhethileng, joalo ka kakaretso ea litokomane, tlhahiso ea mongolo, le temoho ea puo, ntle le mesebetsi ena e tloaelehileng ea NLP. E boetse e sebelisitsoe ho ntlafatsa li-chatbots, bathusi ba sebele, le ho nepahala ha litsamaiso tse ling tsa puisano tsa AI.
3. OpenAI's GPT-3
GPT-3 (Generative Pre-trained Transformer 3) ke mmotlolo wa puo ya OpenAI o hlahisang mongolo o kang wa motho o sebedisa mekgwa e tebileng ya ho ithuta. GPT-3 ke e 'ngoe ea mefuta e meholohali ea lipuo e kileng ea hahuoa, e nang le liparamente tse limilione tse likete tse 175.
Moetso ona o ne o koetliselitsoe mefuteng e mengata ea lintlha tsa mongolo, ho kenyeletsoa libuka, lipampiri le maqephe a webo, 'me joale o khona ho theha litaba tse mabapi le lihlooho tse fapaneng.
E sebetsa joang?
GPT-3 e hlahisa mongolo ka mokhoa oa ho ithuta o sa laoleheng. Sena se fana ka maikutlo a hore mohlala ha o rutoe ka boomo ho etsa mosebetsi o itseng, empa o ithuta ho theha mongolo ka ho hlokomela lipaterone ka bongata bo boholo ba data ea mongolo.
Ka ho e koetlisa ka har'a li-database tse nyane, tse ikhethileng mosebetsi, mohlala o ka hlophisoa hantle bakeng sa mesebetsi e ikhethileng joalo ka ho phethela mongolo kapa tlhahlobo ea maikutlo.
Libaka tsa Tšebeliso
GPT-3 e na le lits'ebetso tse 'maloa tšimong ea ts'ebetso ea puo ea tlhaho. Ho phethela mongolo, phetolelo ea puo, tlhahlobo ea maikutlo, le lits'ebetso tse ling lia khoneha ka mohlala. GPT-3 e boetse e sebelisitsoe ho etsa lithothokiso, lipale tsa litaba le khoutu ea khomphutha.
E 'ngoe ea lisebelisoa tse ka bang teng tsa GPT-3 ke ho theha li-chatbots le bathusi ba sebele. Hobane mohlala o ka theha mongolo o ts'oanang le oa motho, o loketse haholo ts'ebeliso ea moqoqo.
GPT-3 e boetse e sebelisitsoe ho hlahisa litaba tse lokiselitsoeng bakeng sa liwebsaete le lifolakha tsa litaba tsa sechaba, hammoho le ho thusa tlhahlobong ea data le lipatlisiso.
4. GPT-4
GPT-4 ke mofuta oa puo oa morao-rao le o tsoetseng pele haholo letotong la OpenAI's GPT. Ka tekanyo e makatsang ea 10 trillion parameters, ho boleloa esale pele hore e tla feta le ho feta ea pele ho eona, GPT-3, 'me e be e' ngoe ea mehlala ea AI e matla ka ho fetisisa lefatšeng.
E sebetsa joang?
GPT-4 e hlahisa mongolo oa puo ea tlhaho ka mokhoa o rarahaneng lits'ebetso tse tebileng tsa ho ithuta. E koetlisitsoe ka lethathamo le leholo la lintlha tsa mongolo tse kenyelletsang libuka, likoranta le maqephe a webo, e e lumellang ho theha litaba tse mabapi le lihlooho tse fapaneng.
Ho feta moo, ka ho e koetlisa ho li-datasets tse nyane, tse ikhethileng mosebetsi, GPT-4 e ka hlophisoa hantle bakeng sa mesebetsi e ikhethileng joalo ka ho araba lipotso kapa ho akaretsa.
Libaka tsa Tšebeliso
Ka lebaka la boholo ba eona bo boholo le bokhoni bo phahameng, GPT-4 e fana ka mefuta e mengata ea lisebelisoa.
E 'ngoe ea litšebeliso tsa eona tse tšepisang ke ts'ebetsong ea puo ea tlhaho, moo e ka sebelisoang hlahisa li-chatbots, bathusi ba sebele, le litsamaiso tsa phetolelo ea lipuo tse khonang ho hlahisa likarabo tsa puo ea tlhaho tse batlang li sa khethollehe ho tse hlahisoang ke batho.
GPT-4 e kanna ea sebelisoa lithutong.
Khopolo ena e ka sebelisoa ho hlahisa mekhoa e bohlale ea ho ruta e khonang ho ikamahanya le mokhoa oa ho ithuta oa seithuti le ho fana ka maikutlo le thuso ea motho ka mong. Sena se ka thusa ho ntlafatsa boleng ba thuto le ho etsa hore thuto e fihlellehe ho bohle.
5. XLNet
XLNet ke mofuta o mocha oa puo o entsoeng ka 2019 ke Carnegie Mellon University le bafuputsi ba Google AI. Mehaho ea eona e thehiloe holim'a meralo ea li-transformer, e sebelisoang hape ho BERT le mefuta e meng ea lipuo.
XLNet, ka lehlakoreng le leng, e fana ka leano la phetoho ea pele ho koetliso e e nolofalletsang ho feta mefuta e meng mesebetsing e fapaneng ea ts'ebetso ea puo ea tlhaho.
E sebetsa joang?
XLNet e bōpiloe ho sebelisoa mokhoa oa ho etsa mohlala oa puo o ikemetseng, o kenyelletsang ho bolela esale pele lentsoe le latelang ka tatellano ea mongolo e thehiloeng ho tse fetileng.
XLNet, ka lehlakoreng le leng, e sebelisa mokhoa oa bobeli oa ho lekola litumello tsohle tse ka bang teng tsa mantsoe polelong, ho fapana le mefuta e meng ea lipuo tse sebelisang mokhoa oa ho tloha ho le letšehali ho ea ho le letona kapa ho tloha ho le letona ho ea ho le letšehali. Sena se e nolofalletsa ho tšoara likamano tsa nako e telele tsa mantsoe le ho etsa likhakanyo tse nepahetseng haholoanyane.
XLNet e kopanya mekhoa e tsoetseng pele joalo ka khouto ea boemo bo lekanyelitsoeng le mokhoa oa ho ipheta-pheta ho phaella ho leano la eona la phetoho ea pele ho koetliso.
Maano ana a kenya letsoho tshebetsong e akaretsang ya mmotlolo le ho o thusa ho sebetsana le mesebetsi e mengata e fapaneng ya ho sebetsana le puo ya tlhaho, jwalo ka phetolelo ya puo, tshekatsheko ya maikutlo, le ho tsebahatsa mokgatlo ka mabitso.
Libaka tsa Ts'ebeliso ea XLNet
Likarolo tse rarahaneng le ho ikamahanya le maemo ha XLNet li etsa hore e be sesebelisoa se sebetsang bakeng sa mefuta e mengata ea mekhoa ea ho sebetsana le puo ea tlhaho, ho kenyelletsa le li-chatbots le bathusi ba sebele, phetolelo ea puo le tlhahlobo ea maikutlo.
Ntlafatso ea eona e tsoelang pele le ho kenyeletsoa le software le lits'ebetso ho tla fella ka linyeoe tsa ts'ebeliso tse khahlang le ho feta nakong e tlang.
6. ELECTRA
ELECTRA ke mokhoa o tsoetseng pele oa ho sebetsana le puo ea tlhaho o entsoeng ke bafuputsi ba Google. E emetse "Ho Ithuta ka Katleho ea Encoder e Hlophang Liphetoho tsa Letšoao ka Ka nepo" 'me e tumme ka ho nepahala le lebelo le ikhethang.
E sebetsa joang?
ELECTRA e sebetsa ka ho fetola karolo ea li-tokens tsa tatellano ea mongolo ka li-tokens tse hlahisitsoeng. Morero oa mohlala ke ho bolela esale pele hore na tokeneng e 'ngoe le e' ngoe e ncha e nepahetse kapa ke ea bohata. ELECTRA e ithuta ho boloka likamano tsa maemo lipakeng tsa mantsoe ka tatellano ea mongolo ka mokhoa o atlehileng haholoanyane.
Ho feta moo, hobane ELECTRA e theha li-tokens tsa bohata ho fapana le ho pata tsa 'nete, e kanna ea sebelisa lihlopha tse kholoanyane tsa koetliso le linako tsa koetliso ntle le ho tšoenyeha ka ho fetelletseng ho tšoanang le ho tloaeleha ha mefuta e tloaelehileng ea lipuo.
Libaka Tsa Tšebeliso
ELECTRA e ka boela ea sebelisoa bakeng sa tlhahlobo ea maikutlo, e kenyelletsang ho khetholla sengoloa sa maikutlo.
Ka bokhoni ba eona ba ho ithuta ho tsoa ho mongolo o patiloeng le o sa koaheloang, ELECTRA e kanna ea sebelisoa ho theha mefuta e nepahetseng ea tlhahlobo ea maikutlo e ka utloisisang lintlha tse poteletseng tsa puo le ho fana ka lintlha tse nang le moelelo haholoanyane.
7.T5
T5, kapa Text-to-Text Transfer Transformer, ke mofuta oa puo o thehiloeng ho Google AI Puo. E reretsoe ho phethahatsa mesebetsi e fapaneng ea ts'ebetso ea puo ea tlhaho ka ho fetolela mongolo oa mongolo ho tsoa ho mongolo.
E sebetsa joang?
T5 e hahiloe holim'a moralo oa Transformer 'me e ile ea koetlisoa ho sebelisoa thuto e sa laoleheng holim'a bongata bo boholo ba data ea mongolo. T5, ho fapana le mehlala ea lipuo tse fetileng, e rupetsoe ka mesebetsi e fapaneng, e kenyeletsang kutloisiso ea puo, karabo ea lipotso, kakaretso, le phetolelo.
Sena se nolofalletsa T5 ho etsa mesebetsi e mengata ka ho lokisa mohlala ka mokhoa o fokolang oa mosebetsi.
T5 e Sebelisa Hokae?
T5 e na le lisebelisoa tse 'maloa tse ka sebelisoang ts'ebetsong ea puo ea tlhaho. E ka sebelisoa ho theha li-chatbots, bathusi ba sebele, le mekhoa e meng ea puisano ea AI e khonang ho utloisisa le ho arabela ho kenyelletsoeng ha puo ea tlhaho. T5 e ka boela ea sebelisoa bakeng sa mesebetsi e kang phetolelo ea puo, kakaretso, le ho phethela mongolo.
T5 e fane ka mohloli o bulehileng ke Google 'me e 'nile ea amoheloa ke sechaba sa NLP bakeng sa mefuta e fapaneng ea lisebelisoa tse kang ho arola mongolo, ho araba lipotso le phetolelo ea mochine.
8. PALM
PaLM (Pathways Language Model) ke mofuta o tsoetseng pele oa puo o entsoeng ke Puo ea Google AI. E reretsoe ho ntlafatsa ts'ebetso ea mekhoa ea ts'ebetso ea puo ea tlhaho ho phethahatsa tlhokahalo e ntseng e eketseha ea mesebetsi e thata ea puo.
E sebetsa joang?
Joalo ka mefuta e meng e mengata ea lipuo tse ratoang joalo ka BERT le GPT, PaLM ke mohlala o thehiloeng ho li-transformer. Leha ho le joalo, moralo oa eona le mokhoa oa koetliso o e khetholla ho mefuta e meng.
Ho ntlafatsa litsebo tsa ts'ebetso le kakaretso, PaLM e koetlisetsoa ho sebelisa paradigm ea ho ithuta ea mesebetsi e mengata e nolofalletsang mohlala ho ithuta ka nako e le 'ngoe liphephetsong tse ngata.
Re Sebelisa PaLM Hokae?
Palm e ka sebelisoa bakeng sa mesebetsi e fapaneng ea NLP, haholo-holo e hlokang kutloisiso e tebileng ea puo ea tlhaho. E na le thuso bakeng sa tlhahlobo ea maikutlo, ho araba lipotso, ho etsa mohlala oa puo, phetolelo ea mochini, le lintho tse ling tse ngata.
Ho ntlafatsa tsebo ea ho sebetsana le puo ea mananeo le lisebelisoa tse fapaneng joalo ka li-chatbots, bathusi ba sebele, le litsamaiso tsa ho tseba lentsoe, li ka eketsoa ho tsona.
Ka kakaretso, PaLM ke thekenoloji e tšepisang e nang le mefuta e mengata ea lisebelisoa tse ka khonehang ka lebaka la bokhoni ba eona ba ho phahamisa bokhoni ba ho sebetsana le puo.
fihlela qeto e
Qetellong, ts'ebetso ea puo ea tlhaho (NLP) e fetotse tsela eo re sebelisanang le theknoloji ka eona, ea re lumella ho bua le mechini ka mokhoa o tšoanang le oa motho.
NLP e se e holile e nepahetse ebile e sebetsa hantle ho feta leha e le neng pele ka lebaka la tsoelo-pele ea morao-rao ho ithuta mochine, haholo-holo kahong ea mefuta e meholo ea lipuo tse kang GPT-4, RoBERTa, XLNet, ELECTRA, le PaLM.
Ha NLP e ntse e hatela pele, re ka lebella ho bona ho hlaha mefuta e matla le e tsoetseng pele ea puo, e nang le monyetla oa ho fetola tsela eo re hokahanang le theknoloji, re buisanang ka eona, le ho utloisisa ho rarahana ha puo ea batho.
Leave a Reply