Fa'asologa o Gagana Faanatura (NLP) ua suia le auala tatou te fa'aogaina ai masini. I le taimi nei, e mafai e a matou polokalama ma polokalama faakomepiuta ona fa'agasolo ma malamalama i le gagana a tagata.
I le avea ai o se aʻoaʻoga o le atamai faʻapitoa, e taulaʻi le NLP i fegalegaleaiga faʻanatura i le va o komepiuta ma tagata.
E fesoasoani i masini e suʻesuʻe, malamalama, ma tuʻufaʻatasia le gagana a le tagata, tatala le tele o faʻaoga e pei o le faʻaalia o le tautala, faʻaliliuga masini, auiliiliga lagona, ma chatbots.
Ua tele naua atinae i tausaga ua tuana'i, ua mafai ai e masini e le gata ina malamalama i le gagana ae ia fa'aogaina fo'i ma le talafeagai.
I totonu o lenei tusiga, o le a matou siakiina le tele o faʻataʻitaʻiga gagana NLP. O lea, mulimuli ane, ma tatou aʻoaʻoina e uiga i nei faʻataʻitaʻiga!
1. PETA
BERT (Bidirectional Encoder Representations from Transformers) ose fa'ata'ita'iga gagana fa'ata'ita'i fa'aNatura Fa'aNatura (NLP). Na faia i le 2018 e le g ma faʻavae i luga o le Transformer architecture, a fesoʻotaʻiga faʻanoanoa fausia e fa'amatala fa'asologa fa'asologa.
O le BERT ose fa'ata'ita'iga gagana a'o le'i a'oa'oina, o lona uiga na a'oa'oina i le tele o voluma o fa'amaumauga o tusitusiga e iloa ai le gagana fa'anatura ma le fausaga.
O le BERT o se faʻataʻitaʻiga faʻataʻitaʻiga, o lona uiga e mafai ona malamalama i le tala ma le uiga o upu e faʻatatau i a latou faʻamatalaga muamua ma mulimuli mai, e sili atu le manuia i le malamalama i le uiga o fuaiupu faigata.
E faapefea ona galue?
O a'oa'oga e le'i va'aia e fa'aaogaina e a'oa'o ai le BERT i le tele o fa'amaumauga o tusitusiga. E maua e BERT le tomai e iloa ai upu o lo'o misi i se fuaiupu po'o le fa'avasegaina o fuaiupu i le taimi o toleniga.
Faatasi ai ma le fesoasoani a lenei aʻoaʻoga, e mafai e le BERT ona maua ni faʻapipiʻi maualuga e mafai ona faʻaogaina i le tele o galuega a le NLP, e aofia ai suʻesuʻega lagona, faʻavasegaina o tusitusiga, fesili-tali, ma isi mea.
E le gata i lea, e mafai ona faʻaleleia le BERT i luga o se poloketi faʻapitoa e ala i le faʻaaogaina o se faʻamaumauga laiti e taulaʻi i lena galuega faʻapitoa.
O fea e Fa'aaogaina ai Bert?
O le BERT e masani ona fa'aoga i le tele o fa'aoga NLP lauiloa. Google, mo se faʻataʻitaʻiga, na faʻaaogaina e faʻateleina ai le saʻo o ana suʻesuʻega afi, aʻo faʻaaogaina e Facebook e faʻaleleia ai ana algorithms fautuaga.
O le BERT ua faʻaaogaina foi i le suʻesuʻeina o lagona o le chatbot, faʻaliliuga masini, ma le malamalama i le gagana masani.
E le gata i lea, ua faigaluega BERT i nisi suʻesuʻega faʻapitoa pepa e faʻaleleia ai le faʻatinoga o faʻataʻitaʻiga NLP i luga o galuega eseese. I le aotelega, o le BERT ua avea ma meafaigaluega taua mo le NLP aʻoaʻoga ma fomaʻi, ma o lona aafiaga i le amio pulea ua fuafua e faʻateleina atili.
2. Roberta
RoBERTa (Robustly Optimized BERT Approach) o se gagana faʻataʻitaʻiga mo le faʻaogaina o le gagana faʻanatura na tuʻuina atu e Facebook AI i le 2019. O se faʻaleleia atili o le BERT e faʻamoemoe e foia nisi o faʻataʻitaʻiga muamua o le BERT faʻataʻitaʻiga.
RoBERTa na a'oa'oina i se faiga e pei o le BERT, se'i vagana ai le fa'aogaina e RoBERTa nisi fa'amatalaga a'oa'oga ma fa'aleleia atili le fa'agasologa o a'oa'oga e maua ai le fa'atinoga maualuga.
RoBERTa, pei o BERT, ose fa'ata'ita'iga gagana a'o le'i a'oa'oina e mafai ona fa'atonu lelei ina ia maua le sa'o maualuga i se galuega.
E faapefea ona galue?
O lo'o fa'aogaina e RoBERTa se ta'iala a'oa'oga e va'ava'aia e le tagata lava ia e a'oa'oina ai le tele o fa'amaumauga o tusitusiga. E a'oa'o e va'ai upu o lo'o misi i fuaiupu ma fa'avasega fasifuaitau i vaega ma'oti a'o a'oga.
E fa'aogaina fo'i e RoBERTa le tele o auala fa'aa'oa'oga fa'apitoa, e pei o le dynamic masking, e fa'ateleina ai le gafatia o le fa'ata'ita'iga e fa'asalalau i fa'amatalaga fou.
E le gata i lea, ina ia faʻateleina lona saʻo, e faʻaaogaina e RoBERTa le tele o faʻamaumauga mai le tele o punaoa, e aofia ai Wikipedia, Common Crawl, ma BooksCorpus.
O fea e mafai ona matou fa'aogaina ai le ROBERTa?
Roberta e masani ona faʻaaogaina mo suʻesuʻega lagona, faʻavasegaina o tusitusiga, igoa fa'alapotopotoga fa'ailoa, fa'aliliu masini, ma tali fesili.
E mafai ona fa'aoga e maua mai ai fa'amatalaga talafeagai mai fa'amaumauga o tusitusiga e le'i fa'atulagaina e pei ole ala o faasalalauga faaleagafesootai, iloiloga a tagata faatau, tala fou, ma isi punaoa.
RoBERTa ua faʻaaogaina i nisi faʻamatalaga faʻapitoa, e pei o le aotelega o pepa, fatuina o tusitusiga, ma le faʻaalia o le tautala, faʻaopoopo i nei galuega masani a le NLP. Ua faʻaaogaina foʻi e faʻaleleia ai chatbots, fesoasoani faʻapitoa, ma isi faʻatalanoaga AI 'saʻo.
3. OpenAI's GPT-3
GPT-3 (Generative Pre-trained Transformer 3) o se fa'ata'ita'iga gagana OpenAI e fa'atupuina ai tusitusiga fa'apei o tagata e fa'aaoga ai metotia loloto a'oa'oga. GPT-3 o se tasi lea o fa'ata'ita'iga gagana tele na fausia, fa'atasi ai ma le 175 piliona ta'otoga.
O le faʻataʻitaʻiga na aʻoaʻoina i luga o le tele o faʻamaumauga o tusitusiga, e aofia ai tusi, pepa, ma itulau uepi, ma ua mafai nei ona fatuina mea i luga o autu eseese.
E faapefea ona galue?
GPT-3 fa'atupuina tusitusiga e fa'aaoga ai se faiga a'oa'oga e le'i va'aia. O lona uiga o le faʻataʻitaʻiga e leʻo aʻoaʻoina ma le loto i ai e faʻatino soʻo se galuega faapitoa, ae nai lo le aʻoaʻoina e fai tusitusiga e ala i le matauina o mamanu i le tele o voluma o faʻamaumauga o tusitusiga.
E ala i le a'oa'oina i luga o fa'amaumauga laiti, ma'oti galuega, e mafai ona fa'apena lelei le fa'ata'ita'iga mo galuega fa'apitoa e pei o le fa'amae'aina o tusitusiga po'o le su'esu'eina o lagona.
Vaega o Fa'aoga
GPT-3 o loʻo i ai le tele o faʻaoga i le tulaga o le faʻaogaina o gagana masani. Fa'auma tusitusiga, fa'aliliuga gagana, su'esu'ega lagona, ma isi fa'aoga e mafai i le fa'ata'ita'iga. GPT-3 ua faʻaaogaina foi e fatu ai solo, tala fou, ma tulafono komepiuta.
O se tasi o talosaga sili ona gafatia GPT-3 o le fatuina lea o chatbots ma fesoasoani fesoasoani. Talu ai ona o le faʻataʻitaʻiga e mafai ona fatuina ni tusitusiga e pei o le tagata, e matua fetaui lelei mo faʻaoga talanoaga.
GPT-3 ua faʻaaogaina foi e gaosia ai mea faʻapitoa mo upega tafaʻilagi ma faʻasalalauga faʻasalalau, faʻapea foʻi ma fesoasoani i suʻesuʻega faʻamaumauga ma suʻesuʻega.
4. GPT-4
GPT-4 o le fa'ata'ita'iga gagana sili ona lata mai ma fa'apitoa i le fa'asologa GPT a OpenAI. Faatasi ai ma le ofoofogia 10 trillion parakalafa, ua valoia e sili atu ma sili atu lona tulaga muamua, GPT-3, ma avea ma se tasi o le lalolagi sili ona malosi faʻataʻitaʻiga AI.
E faapefea ona galue?
GPT-4 fa'atupu tusitusiga gagana fa'ale-natura e fa'aoga fa'apitoa loloto aʻoaʻo algorithms. O loʻo aʻoaʻoina i luga o le tele o faʻamaumauga o tusitusiga e aofia ai tusi, api talaaga, ma itulau uepi, e mafai ai ona fatuina mea i luga o le tele o mataupu.
E le gata i lea, e ala i le aʻoaʻoina i luga o faʻamaumauga laiti, faʻapitoa-galuega, GPT-4 e mafai ona faʻaogaina lelei mo galuega faʻapitoa e pei ole fesili-tali poʻo le aotelega.
Vaega o Fa'aoga
Ona o lona tele tele ma le maualuga o le gafatia, GPT-4 ofoina atu le tele o ituaiga o talosaga.
O se tasi o ana fa'aoga sili ona fa'amoemoeina o lo'o fa'aogaina le gagana fa'anatura, lea e mafai ona fa'aoga ai atia'e chatbots, fesoasoani fa'akomepiuta, ma faiga fa'aliliuga gagana e mafai ona maua ai tali fa'alenatura e toetoe lava a le iloa le eseesega mai mea na gaosia e tagata.
E mafai fo'i ona fa'aoga le GPT-4 i a'oga.
E mafai ona fa'aoga le manatu e atia'e ai faiga fa'aa'oa'oga atamai e mafai ona fa'afetaui i le sitaili a'oa'oga a le tamaititi ma tu'uina atu manatu fa'apitoa ma fesoasoani. E mafai ona fesoasoani lea i le fa'aleleia atili o le tulaga tau a'oa'oga ma fa'afaigofie ai a'oa'oga mo tagata uma.
5. XLNet
XLNet o se gagana fou faʻataʻitaʻiga na faia i le 2019 e Carnegie Mellon University ma Google AI suʻesuʻe. O lona fausaga e faʻavae i luga o le transformer architecture, lea e faʻaaogaina i le BERT ma isi gagana faʻataʻitaʻiga.
O le XLNet, i le isi itu, o loʻo tuʻuina atu se taʻiala fou aʻo leʻi aʻoaʻoina e mafai ai ona sili atu i isi faʻataʻitaʻiga i luga o le tele o galuega faʻaogaina gagana masani.
E faapefea ona galue?
XLNet na fa'atūina e fa'aaoga ai le fa'ata'ita'iga o le gagana auto-regressive, lea e aofia ai le vavalo o le isi upu i se fa'asologa o tusitusiga e fa'atatau i mea na muamua atu.
O le XLNet, i le isi itu, o lo'o fa'aaogaina se auala fa'a-lua e iloilo ai suiga uma e mafai ona fa'aogaina o upu i se fasifuaitau, e fa'afeagai ma isi gagana fa'ata'ita'iga e fa'aogaina le agavale-i-taumatau po'o le taumatau-i-agavale. O le mea lea e mafai ai ona pu'e sootaga upu umi ma faia ni valo'aga sili atu sa'o.
Ua tu'ufa'atasia e le XLNet auala fa'apitoa e pei o le fa'avasegaina o tulaga fa'atatau ma se vaega-tulaga fa'asolosolo faiga fa'aopoopo i lana ta'iala fou a'o le'i a'oa'oina.
O nei ta'iala e saofagā i le fa'atinoga atoa o le fa'ata'ita'iga ma mafai ai ona ia fa'atautaia le tele o galuega fa'atino gagana fa'alenatura, e pei o le fa'aliliuga gagana, su'esu'ega lagona, ma le fa'ailoaina o fa'alapotopotoga.
Vaega o Fa'aoga mo XLNet
O foliga fa'apitoa ma le fetuutuuna'i o le XLNet ua avea ai ma meafaigaluega aoga mo le tele o fa'aogaina o gagana fa'ale-aganu'u, e aofia ai talatalanoaga ma fesoasoani va'aia, fa'aliliuga gagana, ma su'esu'ega lagona.
O lona atina'e faifaipea ma le tu'ufa'atasia ma polokalama fa'akomepiuta ma polokalama o le a mautinoa lava e i'u ai i ni fa'aoga sili atu ona mata'ina i le lumana'i.
6. ELECTRA
O le ELECTRA ose fa'ata'ita'iga fa'ata'ita'iga fa'aanatura fa'alenatura na faia e tagata su'esu'e a Google. E fa'atusa mo le "A'oa'oina lelei o se Encoder e fa'avasega sa'o Suiga Fa'ailoga" ma e ta'uta'ua i lona sa'o lelei ma le saoasaoa.
E faapefea ona galue?
E galue le ELECTRA e ala i le suia o se vaega o fa'asologa fa'asologa o tusitusiga i fa'ailoga ua gaosia. O le fa'amoemoega o le fa'ata'ita'iga o le va'ai sa'o pe o fa'ailoga ta'itasi e suitulaga sa'o pe fa'asese. E a'oa'o e ELECTRA le teuina o feso'ota'iga fa'apotopotoga i le va o upu i se fa'asologa o tusitusiga e sili atu ona lelei.
E le gata i lea, talu ai ona o le ELECTRA o lo'o faia ni fa'ailoga sese nai lo le natia o fa'ailoga moni, e ono fa'aaogaina ai seti fa'aa'oa'oga tetele ma vaitaimi o a'oa'oga e aunoa ma le o'o i popolega fa'asili e pei ona faia e fa'ata'ita'iga masani o gagana ufimata.
Vaega o Fa'aoga
E mafai fo'i ona fa'aoga le ELECTRA mo le su'esu'eina o lagona, lea e mana'omia ai le fa'ailoaina o le leo fa'alagona o se tusitusiga.
Faatasi ai ma lona gafatia e aʻoaʻo ai mai tusitusiga e lua e ufiufi ma le faʻaalia, e mafai ona faʻaogaina le ELECTRA e fatu ai faʻataʻitaʻiga auʻiliʻiliga sili atu ona saʻo e mafai ona malamalama atili ai i gagana matala ma tuʻuina atu faʻamatalaga anoa.
7.T5
T5, poo le Text-to-Text Transfer Transformer, o se Google AI Language transformer-faʻataʻitaʻiga gagana faʻavae. O lo'o fa'amoemoe e fa'atino galuega fa'agaioiga gagana fa'ale-natura e ala i le fa'aliliuga fetu'una'i o tusitusiga e tu'uina atu i tusitusiga fa'atino.
E faapefea ona galue?
O le T5 o lo'o fausia i luga o le Transformer architecture ma sa a'oa'oina i le fa'aogaina o a'oa'oga e le'i va'aia ile tele o fa'amaumauga o tusitusiga. T5, e le pei o fa'ata'ita'iga gagana muamua, e a'oa'oina i galuega eseese, e aofia ai le malamalama i le gagana, tali fesili, aotelega, ma le fa'aliliuga.
O lea e mafai ai e T5 ona fai le tele o galuega e ala i le fa'aleleia lelei o le fa'ata'ita'iga i luga ole fa'aoga fa'apitoa ole galuega.
O fea e fa'aoga ai le T5?
T5 o lo'o i ai le tele o fa'aoga talafeagai i le fa'agaioiina o gagana fa'anatura. E mafai ona faʻaaogaina e fatu ai talatalanoaga, fesoasoani faʻapitoa, ma isi faiga faʻatalanoaga AI e mafai ona malamalama ma tali atu i le gagana masani. E mafai fo'i ona fa'aogaina le T5 mo gaioiga e pei o le fa'aliliuga gagana, aotelega, ma le fa'amae'aina o tusitusiga.
O le T5 na tu'uina mai e Google ma ua talia lautele e le NLP nu'u mo le tele o talosaga e pei o le fa'avasegaina o tusitusiga, tali fesili, ma le fa'aliliuga o masini.
8. PALM
O le PaLM (Pathways Language Model) o se fa'ata'ita'iga gagana maualuga na faia e Google AI Language. O lo'o fa'amoemoe e fa'aleleia atili le fa'atinoga o fa'ata'ita'iga fa'ata'ita'iga o gagana fa'alenatura e fa'amalieina ai le fa'atupulaia o mana'oga mo galuega fa'afaigata gagana.
E faapefea ona galue?
E tutusa ma le tele o isi gagana e fiafia i ai e pei o le BERT ma le GPT, o le PaLM o se fa'ata'ita'iga fa'avae-transformer. Ae ui i lea, o lona mamanu ma metotia aʻoaʻoga e tuʻu ese ai mai isi faʻataʻitaʻiga.
Ina ia faʻaleleia le faʻatinoga ma tomai faʻapitoa, ua aʻoaʻoina le PaLM e faʻaaoga ai se faʻataʻitaʻiga aʻoaʻoga e tele-galuega e mafai ai e le faʻataʻitaʻiga ona aʻoaʻoina i le taimi e tasi mai le tele o luitau.
O Fea Matou te Fa'aaogaina PaLM?
E mafai ona fa'aoga pama mo le tele o galuega NLP, aemaise lava i latou e mana'omia ai le malamalama loloto i le gagana fa'anatura. E aoga mo su'esu'ega lagona, tali fesili, fa'ata'ita'iga gagana, fa'aliliuga masini, ma le tele o isi mea.
Ina ia faʻaleleia tomai faʻaogaina gagana o polokalame eseese ma mea faigaluega e pei o chatbots, fesoasoani faʻapitoa, ma faiga e iloa ai leo, e mafai foi ona faʻaopoopo i totonu ia i latou.
Ile aotelega, o le PaLM ose tekonolosi fa'amoemoeina ma le tele o fa'aoga talafeagai ona o lona gafatia e fa'alautele le agava'a fa'agaioiga gagana.
iʻuga
Ma le mea mulimuli, o le faʻaogaina o le gagana faʻale-natura (NLP) ua suia le auala tatou te faʻaogaina ai tekinolosi, faʻatagaina i tatou e talanoa ma masini i se auala e sili atu ona pei o tagata.
NLP ua sili atu ona saʻo ma sili atu ona lelei nai lo se isi lava taimi talu ai ona o faʻalavelave lata mai i totonu masini suʻesuʻe, aemaise i le fausiaina o faʻataʻitaʻiga gagana tetele e pei ole GPT-4, RoBERTa, XLNet, ELECTRA, ma PaLM.
A'o aga'i i luma le NLP, atonu tatou te fa'amoemoe e va'aia le fa'atuputeleina o fa'ata'ita'iga gagana sili atu ona malolosi ma fa'apitoa, ma le gafatia e suia ai le auala tatou te fa'afeso'ota'i ai ma tekonolosi, feso'ota'i ma le tasi ma le isi, ma malamalama i le lavelave o le gagana a le tagata.
Tuua se tali