Шабакаҳои бузурги нейронӣ, ки барои шинохти забон ва тавлид омӯзонида шудаанд, дар солҳои охир дар як қатор вазифаҳо натиҷаҳои барҷаста нишон доданд. GPT-3 исбот кард, ки моделҳои забонҳои калон (LLM) метавонанд барои омӯзиши чандкарата истифода шаванд ва бидуни талаб кардани маълумоти васеи мушаххаси вазифа ё тағир додани параметрҳои модел натиҷаҳои аъло ба даст оранд.
Google, бегемоти технологии водии Силикон, PaLM ё Pathways Language Model -ро ба саноати технологӣ дар саросари ҷаҳон ҳамчун модели насли ояндаи забони AI муаррифӣ кард. Google наверо ворид кард мағзи маслуӣ меъморӣ ба PaLM бо ҳадафҳои стратегӣ барои беҳтар кардани сифати модели забони AI.
Дар ин паём, мо алгоритми Палмро ба таври муфассал баррасӣ хоҳем кард, аз ҷумла параметрҳое, ки барои омӯзиши он истифода мешаванд, масъалае, ки он ҳал мекунад ва ғайра.
кадом аст Алгоритми Google PaLM?
Модели забони Pathways он чизест Палм тарафдорй мекунад. Ин як алгоритми навест, ки аз ҷониби Google бо мақсади таҳкими меъмории Pathways AI таҳия шудааст. Мақсади асосии сохтор ин аст, ки якбора як миллион намуди фаъолиятро анҷом диҳад.
Инҳо ҳама чизро аз рамзкушоии маълумоти мураккаб то далелҳои дедуктивӣ дар бар мегиранд. PaLM дорои қобилият аст, ки аз замонавии AI ва инчунин аз одамон дар вазифаҳои забон ва мулоҳиза бартарӣ диҳад.
Ба ин омўзиши "Few-Shot" дохил мешавад, ки тақлид мекунад, ки чӣ тавр одамон чизҳои навро меомӯзанд ва донишҳои гуногунро барои ҳалли мушкилоти наве, ки қаблан надида буданд, бо манфиати мошине, ки тамоми дониши худро барои ҳалли мушкилоти нав истифода мебарад, муттаҳид мекунад; як мисоли ин маҳорат дар PaLM қобилияти шарҳ додани шӯхӣест, ки қаблан нашунида буд.
PaLM малакаҳои зиёди пешрафтро дар як қатор вазифаҳои душвор, аз ҷумла фаҳмиши забон ва эҷод, фаъолиятҳои бисёрқадамонаи арифметикии марбут ба код, ақидаи солим, тарҷума ва ғайра нишон дод.
Он қобилияти худро барои ҳалли масъалаҳои мураккаб бо истифода аз маҷмӯи бисёрзабони NLP нишон дод. PaLM метавонад аз ҷониби бозори умумиҷаҳонии технологӣ барои фарқ кардани сабаб ва натиҷа, комбинатсияи консептуалӣ, бозиҳои мушаххас ва бисёр чизҳои дигар истифода шавад.
Он инчунин метавонад барои бисёр контекстҳо бо истифода аз хулосаи мантиқии чандқадам, забони амиқ, дониши глобалӣ ва усулҳои дигар тавзеҳоти амиқ эҷод кунад.
Чӣ тавр Google алгоритми PaLM-ро таҳия кард?
Барои иҷрои пешравии Google дар PaLM, роҳҳо ба нақша гирифта шудаанд, ки то 540 миллиард параметрро дар бар гиранд. Он ҳамчун як моделе эътироф шудааст, ки метавонад дар доменҳои сершумор ба таври муассир ва ба таври муассир ҷамъбаст карда шавад. Pathways дар Google ба таҳияи компютерҳои тақсимшуда барои суръатбахшҳо бахшида шудааст.
PaLM як модели трансформатори танҳо декодер аст, ки бо истифода аз системаи Pathways омӯзонида шудааст. Мувофиқи маълумоти Google, PaLM бомуваффақият ба иҷрои чандкаратаи муосир дар якчанд сарбории корӣ ноил шудааст. PaLM системаи Pathways-ро барои васеъ кардани омӯзиш ба конфигуратсияи калонтарини система дар асоси TPU, ки бори аввал бо номи 6144 чип маълум аст, истифода бурд.
Маҷмӯи маълумоти омӯзишӣ барои модели забони AI аз омехтаи инглисӣ ва дигар маҷмӯаҳои маълумоти бисёрзабона иборат аст. Бо луғати "беталоф" он дорои мундариҷаи баландсифати веб, мубоҳисаҳо, китобҳо, рамзи GitHub, Википедия ва бисёр чизҳои дигар мебошад. Луғати бе талафот барои нигоҳ доштани фазои холӣ ва шикастани аломатҳои Юникод, ки дар луғат ба байтҳо нестанд, эътироф карда мешавад.
PaLM аз ҷониби Google ва Pathways бо истифода аз меъмории стандартии модели трансформатор ва конфигуратсияи декодер таҳия шудааст, ки фаъолсозии SwiGLU, қабатҳои мувозӣ, ҷобаҷогузории RoPE, ҷобаҷогузории муштараки вуруду баромад, таваҷҷӯҳи пурсишҳои гуногун ва ҳеҷ гуна ғараз ва луғатро дар бар мегирад. Аз тарафи дигар, PaLM омода аст, ки барои модели забони AI-и Google ва Pathways заминаи мустаҳкам фароҳам оварад.
Параметрҳое, ки барои омӯзиши PaLM истифода мешаванд
Соли гузашта Google Pathways-ро ба кор андохтааст, модели ягонае, ки метавонад барои иҷрои ҳазорҳо, ҳатто миллионҳо чизҳо омӯзонида шавад, ки онро “меъмории насли ояндаи AI” номиданд, зеро он метавонад маҳдудиятҳои моделҳои мавҷударо барои иҷрои танҳо як кор омӯзад. . Ба ҷои васеъ кардани имкониятҳои моделҳои ҷорӣ, моделҳои нав аксар вақт барои иҷрои як кор аз поён то боло сохта мешаванд.
Натичаи хамин аст, ки онхо барои даххо хазор намудхои гуногун даххо хазор модель офариданд. Ин кори серталаб ва ресурсталаб аст.
Google тавассути Pathways исбот кард, ки як модели ягона метавонад фаъолиятҳои гуногунро иҷро кунад ва истеъдодҳои кунуниро истифода барад ва муттаҳид кунад, то вазифаҳои навро зудтар ва муассиртар омӯзад.
Моделҳои мултиподалӣ, ки биниш, фаҳмиши забонӣ ва коркарди шунавоӣ дар як вақтро дар бар мегиранд, метавонанд тавассути роҳҳо фаъол карда шаванд. Pathways Language Model (PaLM) ба шарофати модели 4 миллиард параметри он барои омӯзиши як модел дар саросари TPU v540 Pods сершумор имкон медиҳад.
PaLM, як модели зиччи танҳо декодер Transformer, аз иҷрои замонавии чанд зарба дар доираи васеи сарбории корӣ бартарӣ медиҳад. PaLM дар ду TPU v4 Pod таълим дода мешавад, ки тавассути шабакаи маркази додаҳо (DCN) пайваст карда шудаанд.
Он ҳам аз параллелизми модел ва ҳам додаҳо бартарият дорад. Муҳаққиқон дар ҳар як Pod барои PaLM 3072 протсессори TPU v4-ро истифода бурданд, ки ба 768 ҳост пайваст шудаанд. Ба гуфтаи муҳаққиқон, ин бузургтарин конфигуратсияи TPU аст, ки то ҳол ифшо шудааст, ки ба онҳо имкон медиҳад, ки бидуни истифодаи параллелизми қубур омӯзишро васеъ кунанд.
Сарпӯши қубур ин раванди ҷамъоварии дастурҳо аз CPU тавассути қубур дар маҷмӯъ мебошад. Қабатҳои модел ба марҳилаҳо тақсим карда мешаванд, ки метавонанд тавассути параллелизми модели қубур (ё параллелизми қубур) коркард шаванд.
Хотираи фаъолкунӣ ба қадами оянда фиристода мешавад, вақте ки як марҳила гузаришро барои микро-партия анҷом медиҳад. Пас аз он градиентҳо ба ақиб фиристода мешаванд, вақте ки марҳилаи минбаъда паҳншавии ақибро анҷом медиҳад.
Қобилиятҳои пешрафтҳои PaLM
PaLM дар як қатор вазифаҳои душвор қобилиятҳои барҷастаро нишон медиҳад. Инҳоянд чанд мисол:
1. Эҷод ва дарки забон
PaLM аз рӯи 29 вазифаи гуногуни NLP ба забони англисӣ озмоиш карда шуд.
Дар асоси чанд тир, PaLM 540B аз моделҳои калони қаблӣ ба мисли GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla ва LaMDA дар 28 аз 29 вазифа, аз ҷумла вазифаҳои домени кушодаи варианти китобҳои пӯшида ба саволҳо ҷавоб дод. , вазифаҳои басташавӣ ва анҷоми ҷумла, вазифаҳои услуби Виноград, вазифаҳои фаҳмиши хониш дар контекст, вазифаҳои тафаккури солим, супоришҳои SuperGLUE ва хулосаи табиӣ.
Дар якчанд вазифаҳои BIG-стансия, PaLM тафсири аълои забони табиӣ ва малакаҳои наслро нишон медиҳад. Масалан, модел метавонад сабаб ва натиҷаро фарқ кунад, комбинатсияи консептуалиро дар ҳолатҳои муайян дарк кунад ва ҳатто филмро аз эмодзи тахмин кунад. Гарчанде ки ҳамагӣ 22% корпуси таълимӣ забони англисӣ нест, PaLM ба ғайр аз вазифаҳои NLP англисӣ дар меъёрҳои бисёрзабони NLP, аз ҷумла тарҷума, хуб кор мекунад.
2. Муҳокима
PaLM андозаи моделро бо занҷири тафаккур барои нишон додани малакаҳои пешрафта оид ба мушкилоти мулоҳиза, ки тафаккури бисёрқадамонаи арифметикӣ ё солимро талаб мекунанд, омехта мекунад.
LLM-ҳои қаблӣ, ба монанди Gopher, аз андозаи модел аз ҷиҳати баланд бардоштани самаранокӣ камтар манфиат гирифтанд. PaLM 540B бо ангезаи занҷираи тафаккур дар се маҷмӯаи арифметикӣ ва ду маҷмӯаи тафаккури солим ба хубӣ баромад.
PaLM аз беҳтарин холҳои қаблии 55% бартарӣ дорад, ки он тавассути танзими дақиқи модели GPT-3 175B бо маҷмӯи омӯзишии 7500 масъала ва омезиши он бо ҳисобкунаки беруна ва тафтишкунанда барои ҳалли 58 дарсади масъалаҳо дар GSM8K гирифта шудааст. меъёри ҳазорҳо саволҳои душвори риёзии сатҳи мактаби миёна бо истифода аз 8 тир.
Ин холи нав махсусан қобили таваҷҷӯҳ аст, зеро он ба 60% монеаҳои аз ҷониби наврасони 9-12-сола дучоршуда наздик мешавад. Он инчунин метавонад ба шӯхиҳои аслӣ, ки дар интернет дастрас нестанд, ҷавоб диҳад.
3. Тавлиди код
LLMҳо инчунин нишон доданд, ки дар вазифаҳои рамзгузорӣ, аз ҷумла тавлиди код аз тавсифи забони табиӣ (матн ба код), тарҷумаи код байни забонҳо ва ҳалли хатогиҳои компилятсионӣ хуб кор мекунанд. Сарфи назар аз доштани танҳо 5% код дар маҷмӯаи пеш аз омӯзиш, PaLM 540B ҳам дар рамзгузорӣ ва ҳам дар вазифаҳои забони табиӣ дар як модел хуб иҷро мекунад.
Иҷрои чанд зарбаи он бениҳоят аст, зеро он бо Codex 12B дақиқ танзимшуда ҳангоми омӯзиш бо рамзи Python 50 маротиба камтар мувофиқат мекунад. Ин бозёфт бо бозёфтҳои қаблӣ бармеояд, ки моделҳои калонтар метавонанд нисбат ба моделҳои хурдтар самараноктар намуна бошанд, зеро онҳо метавонанд омӯзишро аз чандкарата самараноктар интиқол диҳанд. забонҳои барномасозӣ ва маълумоти забони оддӣ.
хулоса
PaLM иқтидори системаи Pathways-ро барои васеъ кардани ҳазорон протсессори суръатбахш дар ду TPU v4 Pod тавассути омӯзиши самараноки модели параметри 540 миллиард бо рецепти хуб омӯхташуда ва хуб муқарраршудаи модели зиччи танҳо декодер Трансформер нишон медиҳад.
Он дар як қатор мушкилоти коркарди забони табиӣ, мулоҳиза ва рамзгузорӣ тавассути пахш кардани ҳудуди миқёси модел ба муваффақияти чандкарата ноил мегардад.
Дин ва мазҳаб