O feso'ota'iga neural tetele ua a'oa'oina mo le iloa ma le fa'atupuina o le gagana ua fa'aalia i'uga mata'ina i galuega eseese i tausaga talu ai nei. Na fa'amaonia e le GPT-3 e mafai ona fa'aoga fa'ata'ita'iga gagana tetele (LLMs) mo le a'oa'oina o ni nai ata ma maua ai fa'ai'uga lelei e aunoa ma le mana'omia o fa'amaumauga fa'apitoa mo galuega po'o le suia o fa'ata'ita'iga.
Google, le Silicon Valley tech behemoth, ua faʻafeiloaʻi le PaLM, poʻo le Pathways Language Model, i le pisinisi tekinolosi i le lalolagi atoa e avea ma faʻataʻitaʻiga ole gagana AI. Google ua faʻapipiʻiina se mea fou Atamai fa'apitoa fa'ata'ita'iga i totonu o le PaLM fa'atasi ai ma fuafuaga fa'ata'atia e fa'aleleia atili le tulaga lelei ole fa'ata'ita'iga ole gagana AI.
I lenei pou, o le a tatou suʻesuʻeina le Palm algorithm i auiliiliga, e aofia ai faʻasologa faʻaaogaina e toleni ai, le mataupu e foia, ma sili atu.
O le a Google's PaLM algorithm?
Fa'ata'ita'iga o le Gagana Ala o le a PALM e tu mo. Ole algorithm fou lea na atia'e e Google ina ia fa'amalosia ai le fausaga ole Pathways AI. O le sini autu a le fausaga o le faia lea o le miliona o gaioiga eseese i le taimi e tasi.
O nei mea e aofia ai mea uma mai le faʻamalamalamaina o faʻamatalaga lavelave i mafaufauga toesea. O le PaLM e iai le malosi e sili atu ai le tulaga fa'aonaponei a le AI fa'apea fo'i ma tagata i le gagana ma galuega fa'atatau.
E aofia ai le Few-Shot Learning, lea e faʻataʻitaʻiina le auala e aʻoaʻo ai e tagata mea fou ma tuʻufaʻatasia vaega eseese o le malamalama e foia ai luitau fou e leʻi vaʻaia muamua, ma le manuia o se masini e mafai ona faʻaogaina uma lona malamalama e foia ai luitau fou; o se tasi o fa'ata'ita'iga o lenei tomai i le PaLM o lona tomai e fa'amatala ai se tala malie e le'i fa'alogoina muamua.
Na fa'aalia e le PaLM le tele o tomai fa'apitoa i le tele o galuega lu'itau, e aofia ai le malamalama i le gagana ma le fa'atupuina, fa'asologa o numera fa'asologa fa'asologa, fa'amatalaga masani, fa'aliliuga, ma le tele o isi mea.
Ua fa'aalia lona gafatia e fo'ia fa'afitauli faigata e fa'aaoga ai seti NLP gagana. PaLM e mafai ona fa'aogaina e le maketi tekonolosi i le lalolagi atoa e fa'avasega ai le mafua'aga ma le a'afiaga, tu'ufa'atasiga manatu, ta'aloga ma'oti, ma le tele o isi mea.
E mafai fo'i ona fa'atupu fa'amatalaga loloto mo le tele o fa'amatalaga e fa'aaoga ai le fa'avasegaga fa'atatau e tele, gagana loloto, malamalama o le lalolagi, ma isi auala.
Na fa'apefea ona atia'e e Google le PaLM algorithm?
Mo le fa'atinoina o galuega a Google i le PaLM, ua fa'atulaga auala e fa'ateleina i le 540 piliona ta'otoga. O lo'o fa'ailoaina o le tasi lea fa'ata'ita'iga e mafai ona fa'aa'oa'o lelei i le tele o vaega. Pathways i Google e fa'amaoni i le atina'eina o fa'aputuga fa'asoa mo fa'avavevave.
O le PaLM o se fa'ata'ita'iga transformer-na'o le decoder lea na a'oa'oina i le fa'aogaina o le Pathways system. Ua ausia ma le manuia e le PaLM le fa'aonaponei o nai fa'atinoga i le tele o galuega, e tusa ai ma Google. Ua fa'aogaina e le PaLM le faiga o Pathways e fa'alautele ai a'oa'oga i le fa'atulagaina o faiga fa'avae tele TPU, ua ta'ua o le 6144 chips mo le taimi muamua.
O se fa'amaumauga a'oa'oga mo le fa'ata'ita'iga ole gagana AI o lo'o tu'ufa'atasia ile fa'afefiloi ole Igilisi ma isi fa'amaumauga e tele gagana. Faatasi ai ma se upu "leai se leiloa", o loʻo i ai tulaga maualuga i luga o le upega tafaʻilagi, talanoaga, tusi, GitHub code, Wikipedia, ma le tele o isi mea. O upu e leai se leiloa e iloa mo le taofiofia o avanoa papa'e ma le talepeina o mataitusi Unicode e le o iai i le vaogagana i paita.
PaLM na fausia e Google ma Pathways i le fa'aogaina o se fa'ata'ita'iga fa'ata'ita'iga fa'ata'ita'i fa'ata'ita'i ma se fa'asologa o le decoder e aofia ai le SwiGLU Activation, parallel layers, RoPE embeddings, fefa'asoaa'i fa'aoga-output embeddings, tele-fa'atauga fa'atatau, ma leai ni fa'aituau po'o upu. PaLM, i le isi itu, ua sauni e saunia se faavae mautu mo Google ma Pathways 'AI-gagana faʻataʻitaʻiga.
Parata fa'aaoga e toleni ai le PaLM
I le tausaga na teʻa nei, na faʻalauiloa ai e Google Pathways, o se faʻataʻitaʻiga e tasi e mafai ona aʻoaʻoina e fai le faitau afe, pe a le o le faitau miliona, o mea-ua faʻaigoaina o le "tupulaga a le AI architecture" talu ai e mafai ona foia faʻataʻitaʻiga o loʻo i ai nei tapulaʻa o le aʻoaʻoina e faia na o le tasi le mea. . Nai lo le faʻalauteleina o gafatia o faʻataʻitaʻiga o loʻo i ai nei, o faʻataʻitaʻiga fou e masani ona fausia mai le pito i lalo e ausia ai se galuega e tasi.
O se taunuuga, ua latou faia le fiasefulu afe o faʻataʻitaʻiga mo le fiasefulu afe o gaioiga eseese. O se galuega e alu ai le taimi ma le tele o punaoa.
Na fa'amaonia e Google e ala i Pathways e mafai e se fa'ata'ita'iga e tasi ona fa'atautaia gaioiga eseese ma fa'apipi'i ma tu'ufa'atasia taleni o lo'o iai nei e a'oa'o ai galuega fou vave ma lelei.
O fa'ata'ita'iga tele e aofia ai le va'ai, malamalama i le gagana, ma le su'ega su'ega uma i le taimi e tasi e mafai ona fa'aogaina i ala. Pathways Language Model (PaLM) e mafai ai ona a'oa'oina se fa'ata'ita'iga e tasi i le tele o TPU v4 Pods fa'afetai i lana fa'ata'ita'iga e 540 piliona.
O le PaLM, o se fa'ata'ita'iga Transformer mafiafia e fa'a-decoder-na'o, e sili atu le fa'atinoga o ni nai ata fa'aonaponei i le tele o galuega. PaLM o loʻo aʻoaʻoina i luga o TPU v4 Pods e lua e fesoʻotaʻi i se fesoʻotaʻiga nofoaga autu (DCN).
E fa'aogaina uma le fa'ata'ita'iga ma fa'amaumauga tutusa. Na fa'afaigaluegaina e le au su'esu'e le 3072 TPU v4 processors i Pod ta'itasi mo PaLM, lea e feso'ota'i atu i le 768 'au. E tusa ai ma le au suʻesuʻe, o le TPU sili ona tele lea na faʻaalia, e mafai ai ona latou faʻatupuina aʻoaʻoga e aunoa ma le faʻaogaina o le pipeline parallelism.
Pipe lining o le faagasologa o le aoina mai o faatonuga mai le PPU e ala i se paipa lautele. O laulau o le faʻataʻitaʻiga e vaevaeina i vaega e mafai ona faʻagasolo tutusa e ala i le paipa faʻataʻitaʻiga tutusa (poʻo le pipeline parallelism).
O le manatua o le fa'agaoioiga e lafo i le isi la'asaga pe a fa'amae'a e le tasi la'asaga le pasi i luma mo se micro-batch. Ona lafo atu lea o gradients i tua pe a maeʻa le laasaga o loʻo mulimuli mai i tua.
PaLM Avanoa Avanoa
O lo'o fa'aalia e le PaLM agava'a fa'ato'a suatia le eleele i le tele o galuega faigata. O nisi nei o fa'ata'ita'iga:
1. Gagana ma le malamalama
Na fa'ata'ita'iina le PaLM ile 29 galuega NLP eseese ile Igilisi.
I luga o ni nai ata, o le PaLM 540B na sili atu nai lo faʻataʻitaʻiga tetele muamua e pei o GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, ma LaMDA i luga o le 28 o 29 galuega, e aofia ai matala tatala-tusi tapuni suʻesuʻega galuega tali fesili. , galuega fa'amae'a ma fa'ai'upu, galuega fa'a-Winograd, galuega fa'amalamalamaga i totonu o le si'osi'omaga, galuega fa'atatau masani, galuega SuperGLUE, ma fa'ai'uga fa'anatura.
I luga o le tele o galuega BIG-bench, e fa'aalia ai e le PaLM le fa'aliliuga lelei o le gagana fa'anatura ma tomai fa'atuputupulaga. Mo se faʻataʻitaʻiga, e mafai e le faʻataʻitaʻiga ona iloa le eseesega i le va o le mafuaʻaga ma le aʻafiaga, malamalama i tuʻufaʻatasiga faʻavae i nisi tulaga, ma e oʻo lava i le mateina o le ata mai se emoji. E ui lava e na'o le 22% o le vaega a'oa'oga e le'o le Igilisi, e lelei le fa'atinoga o le PaLM i fa'ailoga NLP e tele gagana, e aofia ai le fa'aliliuga, fa'aopoopo i galuega fa'aperetania NLP.
2. Mafaufauga
PaLM fa'afefiloi le lapo'a fa'ata'ita'i ma le fa'aoso fa'aoso-mafaufau e fa'aalia ai tomai fa'atosina i lu'i fa'atatau e mana'omia ai le fa'avasegaina o la'asaga tele po'o le mafaufau masani.
LLMs muamua, e pei o Gopher, faʻaitiitia le manuia mai le lapoʻa faʻataʻitaʻiga i tulaga o le faʻaleleia o le faʻatinoga. O le PaLM 540B fa'atasi ai ma fa'ai'uga o mafaufauga na lelei i luga o fa'amaumauga fa'atatau e tolu ma le lua o mafaufauga masani.
O le PaLM e sili atu nai lo le togi sili ona lelei muamua o le 55%, lea na maua e ala i le faʻaogaina lelei o le GPT-3 175B faʻataʻitaʻiga ma se seti aʻoaʻoga o faʻafitauli 7500 ma tuʻufaʻatasia ma se calculator fafo ma verifier e foia 58 pasene o mataupu i le GSM8K, a fa'ailoga o le afe ma afe o fesili faigata ile aoga tulagalua ole numera e fa'aaoga ai le fa'amalosi e 8.
O lenei sikoa fou e sili ona mataʻina talu ai e latalata i le 60% averesi o faʻalavelave e oʻo i ai le 9-12 tausaga le matutua. E mafai fo'i ona tali atu i ulua'i tausuaga e le'o maua ile initaneti.
3. Fa'atupu Tulafono
Ua fa'aalia fo'i le lelei tele o le fa'atinoina o galuega fa'ailoga, e aofia ai le fa'atupuina o fa'ailoga mai se fa'amatalaga o le gagana fa'alenatura (text-to-code), fa'aliliu tulafono i le va o gagana, ma le fo'ia o mea sese. E ui lava ina na'o le 5% code i le fa'amaumauga a'o le'i a'oa'oina, o le PaLM 540B o lo'o fa'atinoina lelei i galuega e lua ma gagana fa'anatura i se fa'ata'ita'iga e tasi.
O lona fa'atinoga o ni nai fana e ofoofogia, aua e fetaui lelei ma le Codex 12B a'o a'oa'oga ma le 50 taimi itiiti le code Python. O lenei suʻesuʻega e tua i tua ma suʻesuʻega muamua o faʻataʻitaʻiga tetele e mafai ona sili atu le faʻataʻitaʻiga lelei nai lo faʻataʻitaʻiga laiti aua e mafai ona sili atu le faʻafeiloaʻi lelei o aʻoaʻoga mai le tele. gagana polokalame ma fa'amaumauga o le gagana faigofie.
iʻuga
O lo'o fa'aalia e le PaLM le agava'a o le Pathways system e fa'atatau i le faitau afe o masini fa'avavevave i luga o le lua TPU v4 Pods e ala i le a'oa'oina lelei o le 540-piliona fa'ata'ita'iga fa'ata'ita'iga fa'atasi ma se su'esu'ega lelei, fa'amautu fua o se fa'ata'ita'iga Transformer mafiafia decoder-na'o.
E maua ai fa'atinoga fa'ato'a fa'atosina i le tele o fa'agaioiga o le gagana fa'anatura, fefulisa'iga, ma lu'itau fa'ailoga e ala i le una'iina o tuaoi o fua fa'atusa.
Tuua se tali