Stór taugakerfi sem hafa verið þjálfuð fyrir tungumálaþekkingu og kynslóð hafa sýnt framúrskarandi árangur í margvíslegum verkefnum undanfarin ár. GPT-3 sannaði að hægt væri að nota stór tungumálalíkön (LLMs) fyrir fá-skot nám og ná framúrskarandi árangri án þess að krefjast víðtækra verkefnasértækra gagna eða breyta líkanbreytum.
Google, tæknigeirinn í Silicon Valley, hefur kynnt PaLM, eða Pathways Language Model, fyrir tækniiðnaðinum um allan heim sem næstu kynslóð gervigreindar-tungumálamódelsins. Google hefur tekið upp nýtt gervigreind arkitektúr inn í PaLM með stefnumarkandi markmið að bæta gæði gervigreindarmálslíkans.
Í þessari færslu munum við skoða Palm reikniritið í smáatriðum, þar á meðal færibreyturnar sem notaðar eru til að þjálfa það, vandamálið sem það leysir og margt fleira.
Hvað er PaLM reiknirit Google?
Pathways Language Model er hvað PALM stendur fyrir. Þetta er nýtt reiknirit þróað af Google til að styrkja Pathways AI arkitektúrinn. Meginmarkmið mannvirkisins er að gera milljón sérstaka starfsemi í einu.
Þetta felur í sér allt frá því að ráða flókin gögn til afleiðandi rökhugsunar. PaLM hefur getu til að fara fram úr núverandi gervigreindartækni sem og mönnum í tungumála- og rökhugsunarverkefnum.
Þetta felur í sér Few-Shot Learning, sem líkir eftir því hvernig menn læra nýja hluti og sameina fjölbreytta þekkingu til að takast á við nýjar áskoranir sem aldrei hafa sést áður, með ávinningi af vél sem getur notað alla þekkingu sína til að leysa nýjar áskoranir; eitt dæmi um þessa færni í PaLM er hæfileiki þess til að útskýra brandara sem það hefur aldrei heyrt áður.
PaLM sýndi fram á marga byltingarkennda færni í margvíslegum krefjandi verkefnum, þar á meðal tungumálaskilningi og sköpun, fjölþrepa reiknikóðatengda starfsemi, skynsemisrök, þýðingar og margt fleira.
Það hefur sýnt fram á getu sína til að leysa flókin mál með því að nota fjöltyngd NLP sett. PaLM er hægt að nota af tæknimarkaði um allan heim til að aðgreina orsök og afleiðingu, hugmyndasamsetningar, sérstaka leiki og margt annað.
Það getur líka búið til ítarlegar skýringar fyrir mörg samhengi með því að nota margþrepa rökfræðilega ályktun, djúpt tungumál, alþjóðlega þekkingu og aðrar aðferðir.
Hvernig þróaði Google PaLM reikniritið?
Fyrir byltingarkennd frammistöðu Google í PaLM er áætlað að brautir fari upp í 540 milljarða breytur. Það er viðurkennt sem eina líkanið sem getur alhæft á skilvirkan og skilvirkan hátt yfir fjölmörg svið. Pathways hjá Google er tileinkað þróun dreifðrar tölvunar fyrir hraða.
PaLM er afkóðara spennilíkan sem hefur verið þjálfað með Pathways kerfinu. PaLM hefur tekist að ná háþróaðri frammistöðu í fáum skotum í nokkrum vinnuálagi, samkvæmt Google. PaLM hefur notað Pathways kerfið til að auka þjálfun í stærstu TPU-undirstaða kerfisstillingar, þekkt sem 6144 flís í fyrsta skipti.
Þjálfunargagnagrunnur fyrir gervigreindarmálslíkanið er samsett úr blöndu af ensku og öðrum fjöltyngdum gagnasöfnum. Með „taplausum“ orðaforða inniheldur það hágæða vefefni, umræður, bækur, GitHub kóða, Wikipedia og margt fleira. Taplaus orðaforði er þekktur fyrir að halda hvítu bili og brjóta Unicode stafi sem eru ekki í orðaforðanum í bæti.
PaLM var þróað af Google og Pathways með því að nota staðlaðan spennilíkan arkitektúr og afkóðara stillingu sem innihélt SwiGLU virkjun, samhliða lög, RoPE innfellingar, sameiginlega inntak-úttak innfellingar, athygli með mörgum fyrirspurnum og engin hlutdrægni eða orðaforða. PaLM er aftur á móti í stakk búið til að veita traustan grunn fyrir gervigreindarmálslíkan Google og Pathways.
Færibreytur notaðar til að þjálfa PaLM
Á síðasta ári setti Google á markað Pathways, eina gerð sem hægt er að þjálfa til að gera þúsundir, ef ekki milljónir, af hlutum – kallaður „næstu kynslóð gervigreindararkitektúrs“ þar sem það getur sigrast á takmörkunum núverandi módela að vera þjálfaðir í að gera aðeins eitt. . Frekar en að auka getu núverandi gerða eru nýjar gerðir oft byggðar frá grunni til að ná einu verki.
Fyrir vikið hafa þeir búið til tugþúsundir módel fyrir tugþúsundir mismunandi starfsemi. Þetta er tímafrekt og auðlindafrekt verkefni.
Google sannaði með Pathways að eitt líkan gæti séð um margvíslega starfsemi og byggt á og sameinað núverandi hæfileika til að læra ný verkefni hraðar og skilvirkari.
Fjölþætt líkön sem innihalda sjón, málskilning og hljóðvinnslu allt á sama tíma gætu verið virkjuð í gegnum leiðir. Pathways Language Model (PaLM) gerir ráð fyrir þjálfun á einni gerð í fjölmörgum TPU v4 Pods þökk sé 540 milljarða breytulíkani þess.
PaLM, þétt afkóðara-eingöngu Transformer líkan, stendur sig betri en nýjustu fá-skota frammistöðu í margs konar vinnuálagi. Verið er að þjálfa PaLM á tveimur TPU v4 Pods sem eru tengdir í gegnum gagnaversnet (DCN).
Það nýtir sér bæði líkan og gagnasamsvörun. Rannsakendur notuðu 3072 TPU v4 örgjörva í hverjum Pod for PaLM, sem voru tengdir 768 vélum. Samkvæmt rannsakendum er þetta stærsta TPU uppsetningin sem enn hefur verið birt, sem gerir þeim kleift að skala þjálfun án þess að nota samhliða leiðslu.
Pípufóður er ferlið við að safna leiðbeiningum frá örgjörvanum í gegnum leiðslu almennt. Lögum líkansins er skipt í fasa sem hægt er að vinna samhliða með samhliða leiðslulíkani (eða samhliða leiðsla).
Virkjunarminnið er sent í næsta skref þegar eitt stig lýkur framsendingu fyrir örlotu. Hellingarnir eru síðan sendir aftur á bak þegar næsta stig lýkur útbreiðslu sinni afturábak.
PaLM byltingargeta
PaLM sýnir byltingarkennda hæfileika í ýmsum erfiðum verkefnum. Hér eru nokkur dæmi:
1. Málsköpun og skilningur
PaLM reyndi á 29 mismunandi NLP verkefni á ensku.
Á nokkurra skota grundvelli stóð PaLM 540B fram úr fyrri stórum gerðum eins og GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla og LaMDA í 28 af 29 verkefnum, þar á meðal opnu léni í lokuðum bókum til að svara spurningum. , loka- og setningarlokunarverkefni, Winograd-stílverkefni, lesskilningsverkefni í samhengi, skynsemishugsunarverkefni, SuperGLUE verkefni og náttúruleg ályktun.
Í nokkrum BIG-bekk verkefnum sýnir PaLM framúrskarandi náttúrulega tungumálatúlkun og kynslóðarfærni. Til dæmis getur líkanið greint á milli orsök og afleiðingu, skilið huglægar samsetningar við ákveðnar aðstæður og jafnvel giskað á myndina út frá emoji. Jafnvel þó að aðeins 22% af þjálfunarhópnum sé ekki á ensku, skilar PaLM sig vel á fjöltyngdum NLP viðmiðum, þ.mt þýðingar, auk enskra NLP verkefna.
2. Rökstuðningur
PaLM blandar líkanastærð saman við hugmyndakeðju til að sýna fram á byltingarkennda færni í rökhugsunaráskorunum sem krefjast fjölþrepa reikningsskila eða skynsemishugsunar.
Fyrri LLM, eins og Gopher, græddu minna á stærð líkansins hvað varðar aukna afköst. PaLM 540B með keðju-af-hugsun hvetja gekk vel á þremur reikningum og tveimur commonsense hugsun gagnasöfn.
PaLM er betri en fyrri besta einkunnin, 55%, sem fékkst með því að fínstilla GPT-3 175B líkanið með þjálfunarsetti með 7500 vandamálum og sameina það með ytri reiknivél og sannprófanda til að leysa 58 prósent vandamála í GSM8K, a viðmið þúsunda erfiðra stærðfræðispurninga á grunnskólastigi með 8 skotum.
Þessi nýja einkunn er sérstaklega athyglisverð þar sem hún nálgast 60% meðaltal hindrana sem 9-12 ára verða fyrir. Það getur líka svarað frumlegum bröndurum sem eru ekki til á internetinu.
3. Kóða kynslóð
LLM hefur einnig verið sýnt fram á að standa sig vel í kóðunarverkefnum, þar á meðal að búa til kóða úr náttúrulegu tungumálalýsingu (texta-í-kóða), þýða kóða á milli tungumála og leysa söfnunarvillur. Þrátt fyrir að hafa aðeins 5% kóða í forþjálfunargagnapakkanum, skilar PaLM 540B sig vel bæði í kóðunar- og náttúrumálverkefnum í einu líkani.
Frammistaða hans í fáum skotum er ótrúleg þar sem hann passar við fínstillta Codex 12B á meðan hann æfir með 50 sinnum minni Python kóða. Þessi niðurstaða styður við fyrri niðurstöður um að stærri líkön geta verið skilvirkari úrtak en smærri líkön vegna þess að þau geta á skilvirkari hátt yfirfært nám frá mörgum forritunarmál og látlaus málgögn.
Niðurstaða
PaLM sýnir getu Pathways kerfisins til að stækka í þúsundir örgjörva yfir tvo TPU v4 Pods með því að þjálfa á áhrifaríkan hátt 540 milljarða færibreytulíkan með vel rannsakaðri, vel rótgróinni uppskrift af þéttri afkóðara-eingöngu Transformer líkani.
Það nær byltingarkenndum frammistöðu með fáum skotum í ýmsum náttúrulegum málvinnslu, rökhugsun og kóðunaráskorunum með því að ýta á mörk líkanskalans.
Skildu eftir skilaboð