Lisi o Mataupu[Natia][Fa'aali]
O se faʻafitauli masani i le atamai faʻapitoa o le tulituliloaina lea o se masini e mafai ona malamalama i le gagana a le tagata.
Mo se faʻataʻitaʻiga, pe a suʻeina "faleaiga Italia lata ane" i luga o lau masini suʻesuʻe e sili ona e fiafia i ai, e tatau i se algorithm ona faʻavasega upu taʻitasi i lau fesili ma faʻaalia taunuuga talafeagai. O se fa'aliliuga lelei fa'aliliuga e tatau ona malamalama i le fa'amatalaga o se upu fa'apitoa i le Igilisi ma fa'ailoa ai le eseesega o le kalama i le va o gagana.
O nei galuega uma ma le tele o isi mea e pa'ū i lalo o le subfield of computer science ua taʻua Faʻasalalauga Gagana Faʻamatalaga po'o le NLP. O le alualu i luma i le NLP ua taʻitaʻia ai le tele o faʻaoga aoga mai fesoasoani faʻapitoa e pei ole Amazon's Alexa ile spam filters e iloa ai imeli leaga.
O le mea sili ona lata mai i le NLP o le manatu o se fa'ata'ita'iga gagana tele po'o LLM. LLMs pei o le GPT-3 ua matua malosi lava e foliga mai e manuia i toetoe lava o soʻo se galuega NLP poʻo faʻaoga faʻaoga.
I lenei tusiga, o le a tatou vaʻavaʻai pe o le a tonu le LLM, pe faʻafefea ona aʻoaʻoina nei faʻataʻitaʻiga, ma tapulaʻa o loʻo i ai nei.
O le a le fa'ata'ita'iga gagana tele?
I lona autu, o le gagana faʻataʻitaʻiga naʻo se algorithm e iloa ai le faʻaogaina o se faʻasologa o upu o se fuaiupu aoga.
O se fa'ata'ita'iga gagana faigofie tele na a'oa'oina i ni nai tusi e tatau ona ta'u mai ai o le "Na alu o ia i le fale" e sili atu le aoga nai lo le "Na alu i le fale".
Afai tatou te suia le faʻamatalaga laʻititi laʻititi ma se faʻamaumauga tele na vaʻaia mai luga ole initaneti, tatou te amata faʻalatalata atu i le manatu o a fa'ata'ita'iga gagana tele.
faaaogaina fesoʻotaiga i tua, e mafai e tagata suʻesuʻe ona aʻoaʻoina LLM i luga o le tele o faʻamaumauga o tusitusiga. Ona o le tele o faʻamaumauga o tusitusiga na vaʻaia e le faʻataʻitaʻiga, ua matua lelei le LLM i le vaʻai o le isi upu i se faasologa.
O le faʻataʻitaʻiga e matua faʻapitoa, e mafai ona faia le tele o galuega NLP. O nei galuega e aofia ai le otootoina o tusitusiga, fatuina o tala fou, ma e oʻo lava i le faʻataʻitaʻiina o talanoaga pei o tagata.
Mo se fa'ata'ita'iga, o le fa'ata'ita'iga gagana sili ona ta'uta'ua o le GPT-3 ua a'oa'oina ma sili atu i le 175 piliona ta'iala ma ua manatu o se fa'ata'ita'iga gagana sili ona maualuga i le taimi nei.
E mafai ona fa'atupu fa'ailoga galue, tusi tala atoa, ma e mafai ona fai se fana i le taliina o fesili e uiga i so'o se autu.
E fa'apefea ona a'oa'oina LLM?
Ua matou pa'i puupuu i le mea moni o LLM e nofo aitalafu le tele o lo latou malosi i le tele o latou fa'amaumauga a'oa'oga. E i ai se mafua'aga tatou te ta'ua ai i latou o fa'ata'ita'iga gagana "tele".
A'o le'i a'oa'oga fa'atasi ma le Transformer Architecture
I le taimi a'o le'i a'oa'oga, e fa'afeiloa'i LLM i fa'amaumauga o lo'o iai e a'oa'oina ai le fausaga lautele ma tulafono o se gagana.
I nai tausaga ua tuana'i, sa mua'i a'oa'oina LLM i fa'amaumauga e aofia ai se vaega tele o le initaneti lautele. Mo se fa'ata'ita'iga, GPT-3 fa'ata'ita'iga gagana na a'oa'oina i fa'amaumauga mai le Foafoa masani dataset, se vaega o upegatafa'ilagi pou, itulau uepi, ma tusi fa'akomepiuta ua soloia mai le silia ma le 50 miliona vaega.
Ole fa'amaumauga tele e fafaga i se fa'ata'ita'iga ua ta'ua o le a faila. Transformers o se ituaiga o feso'ota'iga neural loloto e sili ona aoga mo fa'amaumauga fa'asolosolo.
Transformers fa'aaogaina se encoder-decoder fausaga mo le fa'afoeina o fa'aoga ma galuega. O le mea moni, o le transformer e aofia ai fesoʻotaʻiga neural e lua: o le encoder ma le decoder. E mafai e le encoder ona aveese mai le uiga o le tusitusiga o lo'o i totonu ma teuina e avea o se vector. Ona maua lea e le decoder le vector ma maua ai lona faauigaina o le tusitusiga.
Ae ui i lea, o le manatu autu na mafai ai ona galue lelei le fausaga o le transformer o le faʻaopoopoga o a masini e gauai atu ai le tagata lava ia. O le manatu o le gauai a le tagata lava ia na mafai ai e le faʻataʻitaʻiga ona gauai atu i upu sili ona taua i totonu o se fuaiupu. O le masini e oʻo lava i le iloiloina o le mamafa i le va o upu e mamao ese faʻasolosolo.
O le isi faʻamanuiaga o le faʻalogo a le tagata lava ia o le faʻagasologa e mafai ona faʻatusalia. Nai lo le fa'agasolo fa'asologa o fa'amaumauga i le fa'asologa, e mafai e fa'ata'ita'iga transformer ona fa'agasolo uma mea e fai i le taimi e tasi. Ole mea lea e mafai ai e tagata fa'aliliu ona a'oa'oina le tele o fa'amaumauga e vave fa'atusatusa i isi metotia.
Faʻalelei
A mae'a le la'asaga a'o le'i a'oa'oina, e mafai ona e filifili e fa'alauiloa ni tusitusiga fou mo le LLM fa'avae e toleni ai. Matou te ta'ua lea faiga fa'alelei ma e masani ona fa'aaogaina e fa'aleleia atili ai le gaosiga o le LLM i se galuega fa'apitoa.
Mo se faʻataʻitaʻiga, atonu e te manaʻo e faʻaoga se LLM e faʻatupu ai mea mo lau Twitter account. E mafai ona matou tuʻuina atu le faʻataʻitaʻiga ma le tele o faʻataʻitaʻiga o au tweets muamua e tuʻuina atu ai se manatu o le mea e manaʻomia.
E i ai ni nai ituaiga eseese o le fa'aleleia lelei.
A'oa'oga fa'atauva'a e fa'atatau i le fa'agasologa o le tu'uina atu o se fa'ata'ita'iga se numera la'ititi o fa'ata'ita'iga ma le fa'amoemoe o le gagana fa'ata'ita'iga o le a fa'ata'ita'iina pe fa'afefea ona faia fa'atusa galuega. A'oa'oga e tasi ose faiga fa'apena se'i vagana na'o se fa'ata'ita'iga e tasi e tu'uina mai.
Tapula'a o Fa'ata'ita'iga Gagana Tele
LLMs pei o le GPT-3 e mafai ona fa'atinoina le tele o fa'aoga fa'aoga e tusa lava pe leai se fa'alelei. Ae ui i lea, o nei faʻataʻitaʻiga e oʻo mai lava ma a latou lava seti o tapulaʻa.
Leai se Malamalama Fa'asinomaga o le Lalolagi
I luga ole laiga, o LLM e foliga mai e faʻaalia le atamai. Ae ui i lea, o nei faʻataʻitaʻiga e le faʻaogaina i le auala tutusa le mafaufau tagata faia. LLM e fa'alagolago na'o i fa'amaumauga fa'afuainumera e fa'atupu ai galuega. E le o ia i latou le malosi e fefulisa'i ai manatu ma manatu na oi latou.
Ona o lea mea, e mafai e le LLM ona fa'aalia ni tali fa'aletonu ona o upu e foliga "sa'o" po'o le "fa'atusa fa'atusa" pe a tu'uina i lena fa'atonuga.
Faʻafiafiaga
O faʻataʻitaʻiga e pei o le GPT-3 e mafatia foi i tali le saʻo. LLMs e mafai ona mafatia i se fa'alavelave e ta'ua o faʻailoga o fa'ata'ita'iga e fa'aalia ai se tali e le sa'o e aunoa ma se iloa e leai se fa'avae o le tali.
Mo se faʻataʻitaʻiga, e mafai e se tagata faʻaoga ona fesili i le faʻataʻitaʻiga e faʻamatalaina manatu o Steve Jobs i le iPhone fou. E mafai e le fa'ata'ita'iga ona fa'atupuina se fa'amatalaga mai le ea manifinifi e fa'atatau i ana fa'amatalaga a'oa'oga.
Fa'aituau ma le Malamalama Fa'atapula'aina
E pei o le tele o isi algorithms, o faʻataʻitaʻiga gagana lapopoa e faigofie ona faʻaaogaina faʻaituau o loʻo i ai i faʻamatalaga aʻoaʻoga. A'o amata ona tatou fa'alagolago atili i LLM e toe aumai fa'amatalaga, e tatau i tagata atia'e o nei fa'ata'ita'iga ona su'e ni auala e fa'aitiitia ai a'afiaga e ono a'afia ai tali fa'aituau.
I se tulaga tutusa, o pupuni o faʻamatalaga aʻoaʻoga a le faʻataʻitaʻiga o le a faʻalavelaveina foi le faʻataʻitaʻiga lava ia. I le taimi nei, o fa'ata'ita'iga gagana tetele e tele masina e a'oa'oina ai. O nei faʻataʻitaʻiga e faʻalagolago foi i faʻamaumauga e faʻatapulaʻaina i le lautele. Ole mea lea ole ChatGPT e gata ai le malamalama i mea na tutupu i le 2021 ua mavae.
iʻuga
O fa'ata'ita'iga gagana tetele e mafai ona suia moni le auala tatou te fegalegaleai ai ma tekonolosi ma lo tatou lalolagi lautele.
O le tele o fa'amaumauga o lo'o maua i luga ole initaneti ua maua ai e tagata su'esu'e se auala e fa'ata'ita'i ai le lavelave o le gagana. Ae ui i lea, i luga o le ala, o nei gagana faʻataʻitaʻiga e foliga mai ua maua i luga o se malamalama faʻatagata o le lalolagi e pei ona i ai.
A'o amata ona fa'atuatuaina e tagata lautele nei fa'ata'ita'iga gagana e tu'uina atu ai le sa'o sa'o, o lo'o su'esu'eina e le au su'esu'e ma le au atina'e ni auala e fa'aopoopo ai pa puipui ina ia tumau ai le amio fa'atekonolosi.
O le a sou manatu o le a le lumanaʻi o LLMs?
Tuua se tali