Cov neural network loj uas tau txais kev cob qhia rau kev paub lus thiab tiam neeg tau pom cov txiaj ntsig zoo hauv ntau txoj haujlwm hauv xyoo tas los no. GPT-3 tau ua pov thawj tias cov qauv lus loj (LLMs) tuaj yeem siv rau ob peb-teev kev kawm thiab tau txais cov txiaj ntsig zoo yam tsis tas yuav tsum muaj cov ntaub ntawv tshwj xeeb rau cov haujlwm tshwj xeeb lossis hloov cov qauv ntsuas.
Google, Silicon Valley tech behemoth, tau qhia PaLM, lossis Pathways Language Model, mus rau thoob ntiaj teb kev lag luam thev naus laus zis raws li cov qauv AI hom lus tom ntej. Google tau suav nrog qhov tshiab artificial txawj ntse architecture rau hauv PaLM nrog lub hom phiaj zoo los txhim kho AI-lus qauv zoo.
Hauv cov ntawv tshaj tawm no, peb yuav tshuaj xyuas Palm algorithm kom ntxaws, suav nrog cov tsis siv los qhia nws, qhov teeb meem nws daws, thiab ntau ntxiv.
Yuav ua li cas yog Google's PaLM algorithm?
Pathways Language Model yog dab tsi XAV sawv rau. Qhov no yog qhov tshiab algorithm tsim los ntawm Google txhawm rau ntxiv dag zog rau Pathways AI architecture. Tus qauv lub hom phiaj tseem ceeb yog ua ib lab cov dej num sib txawv ib zaug.
Cov no suav nrog txhua yam los ntawm kev txiav txim siab cov ntaub ntawv nyuaj mus rau kev txiav txim siab. PaLM muaj peev xwm ua kom dhau AI lub xeev-ntawm-tus-kos duab tam sim no nrog rau tib neeg hauv kev hais lus thiab kev xav txog kev ua haujlwm.
Qhov no suav nrog Few-Shot Learning, uas ua raws li tib neeg kawm tej yam tshiab thiab sib xyaw ua ke ntawm ntau yam kev paub los daws cov teeb meem tshiab uas tsis tau pom dua ua ntej, nrog rau cov txiaj ntsig ntawm lub tshuab uas siv tau tag nrho nws cov kev paub los daws cov teeb meem tshiab; ib qho piv txwv ntawm qhov kev txawj no hauv PaLM yog nws lub peev xwm los piav qhia txog kev tso dag uas nws tsis tau hnov dua ua ntej.
PaLM tau nthuav tawm ntau yam kev txawj ntse ntawm ntau yam kev ua haujlwm nyuaj, suav nrog kev nkag siab ntawm cov lus thiab kev tsim, ntau yam kev ua lej lej suav nrog, kev xav paub zoo, kev txhais lus, thiab ntau ntxiv.
Nws tau pom nws lub peev xwm los daws cov teeb meem nyuaj uas siv ntau hom lus NLP teeb tsa. PaLM tuaj yeem siv los ntawm thoob ntiaj teb kev lag luam thev naus laus zis los sib txawv qhov ua rau thiab cov txiaj ntsig, kev sib txuas lus, kev ua si sib txawv, thiab ntau yam ntxiv.
Nws kuj tseem tuaj yeem tsim cov lus piav qhia tob rau ntau lub ntsiab lus uas siv ntau lub tswv yim kev xav, lus sib sib zog nqus, kev paub thoob ntiaj teb, thiab lwm yam txuj ci.
Google tau tsim PaLM algorithm li cas?
Rau Google qhov kev ua tau zoo hauv PaLM, txoj hauv kev tau teem sijhawm kom ntsuas txog 540 billion qhov ntsuas. Nws tau lees paub tias yog ib tus qauv uas tuaj yeem ua tau zoo thiab ua tau zoo thoob plaws ntau qhov chaw. Pathways ntawm Google tau mob siab rau tsim kev faib xam rau cov accelerators.
PaLM yog tus qauv txiav txim siab nkaus xwb uas tau raug cob qhia siv Pathways system. PaLM tau ua tiav lub xeev-ntawm-tus-kos duab ob peb-tso kev ua tau zoo hla ntau qhov haujlwm, raws li Google. PaLM tau siv Pathways system los nthuav kev cob qhia rau qhov loj tshaj TPU-raws li kev teeb tsa, hu ua 6144 chips thawj zaug.
Daim ntawv qhia kev cob qhia rau tus qauv AI-lus yog tsim los ntawm kev sib xyaw ua lus Askiv thiab lwm yam ntaub ntawv ntau hom lus. Nrog rau cov lus "lossis" nws muaj cov ntsiab lus zoo hauv lub vev xaib, kev sib tham, phau ntawv, GitHub code, Wikipedia, thiab ntau ntxiv. Cov lus tsis muaj lus lees paub tau khaws cia qhov chaw dawb thiab rhuav tshem cov cim Unicode uas tsis nyob hauv cov lus hauv bytes.
PaLM yog tsim los ntawm Google thiab Pathways siv tus qauv transformer qauv architecture thiab decoder configuration uas muaj SwiGLU Activation, parallel txheej, RoPE embeddings, sib koom input-output embeddings, multi-query mloog, thiab tsis muaj biases los yog lus. PaLM, ntawm qhov tod tes, yog npaj los muab lub hauv paus ruaj khov rau Google thiab Pathways 'AI-lus qauv qauv.
Parameters siv los cob qhia PaLM
Xyoo tas los, Google tau tshaj tawm Pathways, ib qho qauv uas tuaj yeem cob qhia ua ntau txhiab, yog tias tsis yog lab, ntawm txhua yam - dubbed "Tib neeg AI architecture" txij li nws tuaj yeem kov yeej cov qauv uas twb muaj lawm cov kev txwv ntawm kev cob qhia ua ib yam nkaus. . Ntau dua li nthuav cov peev txheej ntawm cov qauv tam sim no, cov qauv tshiab feem ntau yog tsim los ntawm hauv qab mus rau kev ua tiav ib txoj haujlwm.
Raws li qhov tshwm sim, lawv tau tsim ntau txhiab tus qauv rau kaum tawm txhiab ntawm cov haujlwm sib txawv. Qhov no yog ib txoj haujlwm siv sijhawm thiab siv nyiaj txiag ntau.
Google tau ua pov thawj los ntawm Pathways tias ib tus qauv tuaj yeem ua ntau yam haujlwm thiab kos thiab sib txuas cov txuj ci tam sim no los kawm cov haujlwm tshiab sai dua thiab ua tau zoo.
Multimodal qauv uas suav nrog lub zeem muag, kev nkag siab ntawm kev hais lus, thiab kev mloog txhua qhov tib lub sijhawm yuav raug qhib los ntawm txoj hauv kev. Pathways Language Model (PaLM) tso cai rau kev cob qhia ntawm ib tus qauv thoob plaws ntau TPU v4 Pods ua tsaug rau nws 540 billion parameter qauv.
PaLM, ib tug tuab decoder-tsuas yog Transformer qauv, outperforms lub xeev-of-the-art ob peb-steev kev ua tau zoo nyob rau hauv ib tug ntau yam ntawm workloads. PaLM tau txais kev cob qhia ntawm ob lub TPU v4 Pods uas tau txuas los ntawm lub chaw data center (DCN).
Nws yuav siv sij hawm kom zoo dua ntawm ob qho tib si qauv thiab cov ntaub ntawv parallelism. Cov kws tshawb fawb tau ua haujlwm 3072 TPU v4 processors hauv txhua Pod rau PaLM, uas tau txuas nrog 768 tus tswv. Raws li cov kws tshawb fawb, qhov no yog qhov loj tshaj TPU teeb tsa tseem tau tshaj tawm, tso cai rau lawv los ntsuas qhov kev cob qhia yam tsis siv cov kav dej sib txuas.
Cov kab yeeb nkab yog cov txheej txheem ntawm kev sib sau cov lus qhia los ntawm CPU los ntawm cov kav dej dav dav. Cov khaubncaws sab nraud povtseg ntawm cov qauv tau muab faib ua cov theem uas tuaj yeem ua tiav nyob rau hauv parallel ntawm pipeline qauv parallelism (los yog pipeline parallelism).
Lub cim xeeb ua kom raug xa mus rau cov kauj ruam tom ntej thaum ib theem ua tiav rau pem hauv ntej dhau rau micro-batch. Cov gradients raug xa rov qab thaum cov theem hauv qab no ua tiav nws rov qab nthuav tawm.
PaLM Breakthrough Capabilities
PaLM nthuav tawm lub peev xwm hauv av hauv ntau yam haujlwm nyuaj. Nov yog ob peb yam piv txwv:
1. Kev tsim lus thiab kev nkag siab
PaLM tau muab tso rau qhov kev xeem ntawm 29 qhov haujlwm NLP sib txawv ua lus Askiv.
Ntawm ob peb lub hauv paus, PaLM 540B tau ua tiav cov qauv loj dhau los xws li GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, thiab LaMDA ntawm 28 ntawm 29 txoj haujlwm, suav nrog qhib-ntaub kaw-phau ntawv sib txawv cov lus nug- teb cov haujlwm , cloze thiab kab lus ua tiav, cov haujlwm Winograd-style, cov haujlwm hauv cov ntsiab lus nyeem kev nkag siab, kev ua haujlwm zoo sib xws, SuperGLUE cov haujlwm, thiab kev xav hauv ntuj.
Ntawm ob peb txoj haujlwm loj-lub rooj ntev zaum, PaLM qhia tau hais tias kev txhais lus zoo heev thiab tsim kev txawj ntse. Piv txwv li, tus qauv tuaj yeem paub qhov txawv ntawm qhov ua rau thiab qhov tshwm sim, nkag siab txog kev sib txuas lus hauv qee qhov xwm txheej, thiab txawm tias kwv yees cov yeeb yaj kiab los ntawm emoji. Txawm hais tias tsuas yog 22% ntawm qhov kev cob qhia lub cev tsis yog lus Askiv, PaLM ua tau zoo ntawm ntau hom lus NLP cov qauv, suav nrog kev txhais lus, ntxiv rau Askiv NLP cov haujlwm.
2. Kev Xav Txog
PaLM muab cov qauv me me nrog cov saw-ntawm-kev xav kom ua kom pom cov kev txawj ntse ntawm kev sib tw xav xav tau ntau theem lej lej lossis kev xav sib txawv.
Yav dhau los LLMs, xws li Gopher, tau txais txiaj ntsig tsawg dua los ntawm tus qauv loj ntawm kev txhim kho kev ua haujlwm. PaLM 540B nrog cov saw-ntawm-kev xav ua rau muaj txiaj ntsig zoo ntawm peb tus lej lej thiab ob qhov kev xav cov ntaub ntawv sib txawv.
PaLM ua tau zoo tshaj yav dhau los tus qhab nia zoo tshaj plaws ntawm 55%, uas tau txais los ntawm kev kho kom zoo GPT-3 175B qauv nrog kev cob qhia txog 7500 teeb meem thiab sib txuas nrog lub tshuab xam zauv sab nraud thiab tus neeg txheeb xyuas los daws 58 feem pua ntawm cov teeb meem hauv GSM8K, a Cov qhab nia ntawm ntau txhiab lub tsev kawm ntawv qib nyuaj cov lus nug lej siv 8-shot prompting.
Qhov qhab nia tshiab no yog qhov tseem ceeb tshwj xeeb vim nws mus txog 60% qhov nruab nrab ntawm cov teeb meem uas tau ntsib los ntawm 9-12-xyoo-laus. Nws tseem tuaj yeem teb rau cov lus tso dag qub uas tsis muaj nyob hauv internet.
3. Code tiam
LLMs kuj tau pom tias ua tau zoo hauv cov haujlwm coding, suav nrog kev tsim cov lej los ntawm cov lus piav qhia (ntawv nyeem-rau-code), txhais cov lej ntawm cov lus, thiab daws qhov yuam kev sau ua ke. Txawm hais tias tsuas yog muaj 5% code hauv cov ntaub ntawv qhia ua ntej, PaLM 540B ua tau zoo ntawm ob qho tib si coding thiab kev ua haujlwm yam lus hauv ib tus qauv.
Nws qhov kev ua tau zoo ob peb yog qhov tsis txaus ntseeg, vim nws phim qhov zoo-tuned Codex 12B thaum kev cob qhia nrog 50 zaug tsawg dua Python code. Qhov kev tshawb pom no rov qab nrog kev tshawb pom ua ntej tias cov qauv loj tuaj yeem ua qauv zoo dua li cov qauv me vim tias lawv tuaj yeem hloov pauv kev kawm los ntawm ntau yam. hom lus thiab cov ntaub ntawv yooj yim.
xaus
PaLM qhia Pathways system lub peev xwm los ntsuas rau ntau txhiab tus txheej txheem accelerator tshaj li ob TPU v4 Pods los ntawm kev cob qhia 540-billion parameter qauv nrog cov kev kawm zoo, tsim kom muaj daim ntawv qhia ntom ntom-tsuas yog Transformer qauv.
Nws ua tiav kev ua tiav ob peb qhov kev ua tau zoo thoob plaws ntau yam ntawm kev ua cov lus ntuj, kev xav, thiab kev sib tw coding los ntawm kev thawb cov ciam teb ntawm cov qauv ntsuas.
Sau ntawv cia Ncua