Gwo rezo neral ki te fòme pou rekonesans lang ak jenerasyon te demontre rezilta eksepsyonèl nan yon varyete travay nan dènye ane yo. GPT-3 te pwouve ke modèl lang gwo (LLMs) ta ka itilize pou aprann kèk-piki epi jwenn rezilta ekselan san yo pa mande anpil done espesifik travay oswa chanje paramèt modèl.
Google, kokenn teknoloji Silicon Valley, te prezante PaLM, oswa Pathways Language Model, nan endistri teknoloji atravè lemond kòm pwochen jenerasyon modèl AI-lang. Google te enkòpore yon nouvo atifisyèl entèlijans achitekti nan PaLM ak objektif estratejik yo amelyore kalite modèl AI-lang lan.
Nan pòs sa a, nou pral egzamine algorithm Palm an detay, ki gen ladan paramèt yo itilize pou fòme li, pwoblèm nan li rezoud, ak plis ankò.
Ki sa ki Algorithm PaLM Google la?
Pathways Lang Modèl se sa PALM vle di. Sa a se yon nouvo algorithm devlope pa Google yo nan lòd yo ranfòse achitekti Pathways AI. Objektif prensipal estrikti a se fè yon milyon aktivite diferan alafwa.
Men sa yo enkli tout bagay soti nan dechifre done konplèks nan rezònman dediktif. PaLM gen kapasite pou depase dènye AI aktyèl la ak moun nan travay lang ak rezònman.
Sa gen ladann Few-Shot Learning, ki imite fason moun aprann nouvo bagay ak konbine divès ti konesans pou atake nouvo defi ki pa janm te wè anvan, ak benefis nan yon machin ki ka itilize tout konesans li yo pou rezoud nouvo defi; yon egzanp konpetans sa a nan PaLM se kapasite li pou eksplike yon blag li pa janm tande anvan.
PaLM te demontre anpil ladrès zouti nan yon varyete travay ki difisil, tankou konpreyansyon ak kreyasyon langaj, aktivite ki gen rapò ak kòd aritmetik plizyè etap, rezònman sans komen, tradiksyon, ak anpil lòt.
Li te demontre kapasite li pou rezoud pwoblèm konplike lè l sèvi avèk seri NLP ki pale plizyè lang. PaLM ka itilize pa mache teknoloji atravè lemond pou diferansye kòz ak efè, konbinezon konseptyèl ekspresyon, jwèt diferan, ak anpil lòt bagay.
Li kapab tou jenere eksplikasyon apwofondi pou anpil kontèks lè l sèvi avèk enferans lojik plizyè etap, langaj pwofon, konesans mondyal, ak lòt teknik.
Ki jan Google te devlope algorithm PaLM la?
Pou pèfòmans zouti Google nan PaLM, chemen yo pwograme pou echèl jiska 540 milya paramèt. Li rekonèt kòm yon sèl modèl ki ka jeneralize avèk efikasite ak efikasite atravè plizyè domèn. Pathways at Google dedye a devlope distribye informatique pou akseleratè yo.
PaLM se yon modèl transfòmatè dekodè sèlman ki te resevwa fòmasyon lè l sèvi avèk sistèm Pathways la. Dapre Google, PaLM te reyalize avèk siksè pèfòmans modèn kèk piki nan plizyè chaj travay. PaLM te itilize sistèm Pathways pou elaji fòmasyon nan pi gwo konfigirasyon sistèm ki baze sou TPU, ke yo rekonèt kòm 6144 chips pou premye fwa.
Yon seri done fòmasyon pou modèl AI-lang se yon melanj de done angle ak lòt plizyè lang. Avèk yon vokabilè "san pèt", li gen bon jan kalite kontni entènèt, diskisyon, liv, kòd GitHub, Wikipedia, ak anpil plis. Yo rekonèt vokabilè san pèt pou kenbe espas blan epi kraze karaktè Unicode ki pa nan vokabilè a an byte.
PaLM te devlope pa Google ak Pathways lè l sèvi avèk yon achitekti modèl transfòmatè estanda ak yon konfigirasyon dekodeur ki te gen ladann SwiGLU Aktivasyon, kouch paralèl, embeddings RoPE, entegre antre-sòti pataje, atansyon milti-rekèt, epi pa gen okenn prejije oswa vokabilè. PaLM, nan lòt men an, pare pou bay yon baz solid pou modèl AI-lang Google ak Pathways.
Paramèt yo itilize pou fòme PaLM
Ane pase a, Google te lanse Pathways, yon sèl modèl ki ka resevwa fòmasyon pou fè dè milye, si se pa dè milyon, de bagay-yo rele "pwochen jenerasyon achitekti AI" paske li ka simonte limit modèl ki egziste deja yo pou yo te fòme pou fè yon sèl bagay. . Olye ke agrandi kapasite yo nan modèl aktyèl yo, nouvo modèl yo souvan bati soti nan anba a pou akonpli yon sèl travay.
Kòm yon rezilta, yo te kreye dè dizèn de milye de modèl pou dè dizèn de milye de aktivite diferan. Sa a se yon travay ki pran anpil tan ak anpil resous.
Google te pwouve atravè Pathways ke yon sèl modèl te kapab jere yon varyete aktivite epi tire sou ak konbine talan aktyèl yo aprann nouvo travay pi vit ak efikasite.
Modèl multimodal ki gen ladan vizyon, konpreyansyon lengwistik, ak pwosesis oditif tout an menm tan ka pèmèt atravè chemen. Pathways Language Model (PaLM) pèmèt fòmasyon yon sèl modèl atravè plizyè Pods TPU v4 gras a modèl paramèt 540 milya li yo.
PaLM, yon modèl transfòmatè dans dekode sèlman, depase pèfòmans dènye modèl kèk piki atravè yon pakèt chaj travay. PaLM ap resevwa fòmasyon sou de TPU v4 Pods ki lye atravè yon rezo sant done (DCN).
Li pran avantaj tou de modèl ak done paralelis. Chèchè yo te anplwaye 3072 processeurs TPU v4 nan chak Pod pou PaLM, ki te konekte ak 768 lame. Dapre chèchè yo, sa a se pi gwo konfigirasyon TPU ankò divilge, ki pèmèt yo echèl fòmasyon san yo pa anplwaye paralelis tiyo.
Pawa tiyo se pwosesis pou rasanble enstriksyon nan CPU a atravè yon tiyo an jeneral. Kouch yo nan modèl la divize an faz ki ka trete an paralèl atravè paralelis modèl tiyo (oswa paralelis tiyo).
Se memwa aktivasyon an voye nan pwochen etap la lè yon etap konplete pas la pou pi devan pou yon mikwo-pakèt. Lè sa a, gradyan yo voye dèyè lè etap sa a fini pwopagasyon bak li yo.
Kapasite PaLM Breakthrough
PaLM montre kapasite révolutionnaire nan yon seri travay difisil. Men plizyè egzanp:
1. Kreyasyon lang ak konpreyansyon
Yo te teste PaLM sou 29 diferan travay NLP nan lang angle.
Sou yon baz kèk piki, PaLM 540B depase gwo modèl anvan yo tankou GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, ak LaMDA sou 28 nan 29 travay, ki gen ladan travay ki gen ladann nan domèn ouvè-liv fèmen variant kesyon-reponn. , travay cloze ak konpleman fraz, travay Winograd-style, travay konpreyansyon lekti nan kontèks, travay rezònman sans komen, travay SuperGLUE, ak enferans natirèl.
Nan plizyè travay BIG-ban, PaLM demontre ekselan entèpretasyon lang natirèl ak ladrès jenerasyon. Pou egzanp, modèl la ka fè distenksyon ant kòz ak efè, konprann konbinezon konseptyèl ekspresyon nan sèten sitiyasyon, e menm devine fim nan soti nan yon emoji. Menmsi jis 22% nan corpus fòmasyon an pa angle, PaLM fè byen sou referans NLP plizyè lang, ki gen ladan tradiksyon, anplis travay NLP angle.
2. Rezònman
PaLM melanje gwosè modèl ak pouse chèn-de-panse pou demontre ladrès dekouvèt sou defi rezònman ki mande aritmetik milti-etap oswa rezònman sans komen.
LLM anvan yo, tankou Gopher, te benefisye mwens nan gwosè modèl la an tèm de amelyore pèfòmans. PaLM 540B a ak chèn-of-panse pouse te byen mache sou twa aritmetik ak de done panse komen.
PaLM depase pi bon nòt anvan an nan 55%, ki te jwenn nan amann modèl GPT-3 175B la ak yon seri fòmasyon nan 7500 pwoblèm ak konbine li ak yon kalkilatris ekstèn ak verifikatè yo rezoud 58 pousan nan pwoblèm yo nan GSM8K, yon referans sou plizyè milye kesyon matematik ki difisil nan nivo klas lekòl yo lè l sèvi avèk sijesyon 8-piki.
Nouvo nòt sa a espesyalman enpòtan paske li apwoche 60% mwayèn obstak ki gen 9-12 zan. Li kapab tou reponn ak blag orijinal ki pa disponib sou entènèt la.
3. Jenerasyon Kòd
Yo montre tou LLM yo byen travay nan travay kodaj, tankou jenere kòd ki soti nan yon deskripsyon lang natirèl (tèks-a-kod), tradui kòd ant lang, ak rezoud erè konpilasyon. Malgre sèlman 5% kòd nan seri done pre-fòmasyon an, PaLM 540B fè byen nan tou de travay kodaj ak lang natirèl nan yon modèl sèl.
Pèfòmans kèk piki li yo se enkwayab, paske li matche ak Codex 12B amann pandan y ap antrene ak 50 fwa mwens kòd Python. Konklizyon sa a tounen ak konklizyon anvan yo ke pi gwo modèl yo ka pi efikas echantiyon pase modèl ki pi piti paske yo ka pi efikasman transfere aprantisaj nan plizyè. langaj pwogramasyon ak done langaj klè.
konklizyon
PaLM montre kapasite sistèm Pathways la pou l rive nan plizyè milye processeur akseleratè sou de TPU v4 Pods lè l antrene yon modèl paramèt 540 milya dola ak yon resèt ki byen etidye ak byen etabli nan yon modèl transfòmatè dekodeur dans sèlman.
Li reyalize gwo pèfòmans nan yon seri defi nan pwosesis langaj natirèl, rezònman ak kodaj lè li pouse limit echèl modèl la.
Kite yon Reply