Awọn nẹtiwọọki nkankikan ti o tobi ti o ti ni ikẹkọ fun idanimọ ede ati iran ti ṣe afihan awọn abajade iyalẹnu ni ọpọlọpọ awọn iṣẹ ṣiṣe ni awọn ọdun aipẹ. GPT-3 safihan pe awọn awoṣe ede nla (LLMs) le ṣee lo fun ẹkọ titu-diẹ ati gba awọn abajade to dara julọ laisi nilo data iṣẹ-ṣiṣe ti o gbooro tabi iyipada awọn aye awoṣe.
Google, Silicon Valley tekinoloji behemoth, ti ṣafihan PaLM, tabi Awoṣe Ede Awọn ipa ọna, si ile-iṣẹ imọ-ẹrọ agbaye bi awoṣe AI-ede iran atẹle. Google ti ṣafikun tuntun kan oye atọwọda faaji sinu PaLM pẹlu awọn ero ilana lati mu didara awoṣe ede AI dara si.
Ninu ifiweranṣẹ yii, a yoo ṣe ayẹwo algorithm Palm ni awọn alaye, pẹlu awọn aye ti a lo lati ṣe ikẹkọ, ọran ti o yanju, ati pupọ diẹ sii.
ohun ti o jẹ Google's PaLM algorithm?
Awọn ọna Ede Awoṣe jẹ ohun ti Ọpẹ dúró fun. Eyi jẹ algoridimu tuntun ti o dagbasoke nipasẹ Google lati le teramo ọna faaji Awọn ipa ọna AI. Ibi-afẹde akọkọ ti eto naa ni lati ṣe awọn iṣẹ akanṣe miliọnu kan ni ẹẹkan.
Iwọnyi pẹlu ohun gbogbo lati iṣiparọ data idiju si ero iyọkuro. PaLM ni agbara lati kọja ipo-ti-aworan AI lọwọlọwọ bi daradara bi eniyan ni ede ati awọn iṣẹ ṣiṣe ero.
Eyi pẹlu Ẹkọ Diẹ-Shot, eyiti o ṣe afiwe bi eniyan ṣe kọ awọn ohun tuntun ati papọ awọn oye oriṣiriṣi oriṣiriṣi lati koju awọn italaya tuntun ti a ko rii tẹlẹ, pẹlu anfani ti ẹrọ ti o le lo gbogbo imọ rẹ lati yanju awọn italaya tuntun; ọkan apẹẹrẹ ti yi olorijori ni PaLM ni awọn oniwe-agbara lati se alaye a awada ti o ti ko ti gbọ tẹlẹ.
PaLM ṣe afihan ọpọlọpọ awọn ọgbọn aṣeyọri lori ọpọlọpọ awọn iṣẹ ṣiṣe ti o nija, pẹlu oye ede ati ẹda, awọn iṣẹ ṣiṣe ti o jọmọ koodu iṣiri-igbesẹ pupọ, ironu oye ti o wọpọ, itumọ, ati ọpọlọpọ diẹ sii.
O ti ṣe afihan agbara rẹ lati yanju awọn ọran idiju nipa lilo awọn eto NLP multilingual. PaLM le ṣee lo nipasẹ ọja imọ-ẹrọ agbaye lati ṣe iyatọ idi ati ipa, awọn akojọpọ imọran, awọn ere pato, ati ọpọlọpọ awọn nkan miiran.
O tun le ṣe awọn alaye ti o jinlẹ fun ọpọlọpọ awọn aaye nipa lilo itọkasi ọgbọn igbesẹ pupọ, ede ti o jinlẹ, imọ agbaye, ati awọn ilana miiran.
Bawo ni Google ṣe ṣe agbekalẹ algorithm PaLM?
Fun iṣẹ ṣiṣe aṣeyọri ti Google ni PaLM, awọn ipa-ọna ti ṣeto lati ṣe iwọn to 540 bilionu paramita. O jẹ idanimọ bi awoṣe ọkan ti o le ni imunadoko ati imunadoko ni gbogbo awọn agbegbe lọpọlọpọ. Awọn ipa ọna ni Google jẹ igbẹhin si idagbasoke iširo pinpin fun awọn iyara.
PaLM jẹ awoṣe ẹrọ oluyipada koodu kan ti o ti ni ikẹkọ nipa lilo eto Awọn ipa ọna. PaLM ti ṣaṣeyọri aṣeyọri-ti-ti-aworan iṣẹ diẹ-shot kọja ọpọlọpọ awọn ẹru iṣẹ, ni ibamu si Google. PaLM ti lo eto Awọn ipa ọna lati faagun ikẹkọ si iṣeto ipilẹ TPU ti o tobi julọ, ti a mọ ni awọn eerun 6144 fun igba akọkọ.
Ipilẹ data ikẹkọ fun awoṣe ede AI jẹ idapọpọ ti Gẹẹsi ati awọn ipilẹ data multilingual miiran. Pẹlu awọn ọrọ “aini pipadanu”, o ni akoonu oju opo wẹẹbu didara ga, awọn ijiroro, awọn iwe, koodu GitHub, Wikipedia, ati pupọ diẹ sii. Awọn fokabulari ti o padanu jẹ idanimọ fun idaduro aaye funfun ati fifọ awọn ohun kikọ Unicode ti ko si ninu awọn fokabulari sinu awọn baiti.
PaLM jẹ idagbasoke nipasẹ Google ati Awọn ọna ipa ọna ni lilo ọna kika awoṣe oluyipada boṣewa ati atunto decoder kan ti o pẹlu Imuṣiṣẹ SwiGLU, awọn ipele ti o jọra, awọn ifibọ RoPE, awọn ifibọ igbewọle pinpin, akiyesi ibeere pupọ, ati pe ko si aibikita tabi awọn ọrọ. PaLM, ni ida keji, ti mura lati pese ipilẹ to lagbara fun Google ati awoṣe AI-ede Awọn ipa ọna.
Awọn paramita ti a lo lati ṣe ikẹkọ PaLM
Ni ọdun to kọja, Google ṣe ifilọlẹ Awọn ipa ọna, awoṣe kan ṣoṣo ti o le ṣe ikẹkọ lati ṣe ẹgbẹẹgbẹrun, ti kii ba ṣe awọn miliọnu, ti awọn nkan — ti a pe ni “itumọ iran AI ti nbọ” nitori o le bori awọn idiwọn awọn awoṣe ti o wa tẹlẹ ti ikẹkọ lati ṣe ohun kan ṣoṣo . Dipo ki o faagun awọn agbara ti awọn awoṣe lọwọlọwọ, awọn awoṣe tuntun nigbagbogbo ni a kọ lati isalẹ lati ṣe aṣeyọri iṣẹ kan.
Bi abajade, wọn ti ṣẹda ẹgbẹẹgbẹrun awọn awoṣe fun ẹgbẹẹgbẹrun awọn iṣẹ ṣiṣe oriṣiriṣi. Eyi jẹ iṣẹ-ṣiṣe ti n gba akoko ati awọn ohun elo ti o lekoko.
Google ṣe afihan nipasẹ Awọn ipa ọna pe awoṣe kan le mu awọn oriṣiriṣi awọn iṣẹ ṣiṣe ati fa lori ati ṣajọpọ awọn talenti lọwọlọwọ lati kọ awọn iṣẹ ṣiṣe tuntun ni iyara ati daradara.
Awọn awoṣe multimodal ti o pẹlu iran, oye ede, ati sisẹ igbọran gbogbo ni akoko kanna le ṣee mu ṣiṣẹ nipasẹ awọn ipa ọna. Awoṣe Ede Awọn ipa ọna (PaLM) ngbanilaaye fun ikẹkọ ti awoṣe ẹyọkan kọja ọpọlọpọ TPU v4 Pods ọpẹ si awoṣe paramita 540 bilionu rẹ.
PaLM, awoṣe Ayipada iyipada-nikan ipon, ṣe iṣere-ti-ti-ti-aworan iṣẹ diẹ-shot kọja ọpọlọpọ awọn ẹru iṣẹ. PaLM ti wa ni ikẹkọ lori TPU v4 Pods meji ti o ni asopọ nipasẹ nẹtiwọọki ile-iṣẹ data kan (DCN).
O gba anfani ti awọn mejeeji awoṣe ati data parallelism. Awọn oniwadi naa lo awọn ilana 3072 TPU v4 ni Pod kọọkan fun PaLM, eyiti o sopọ si awọn ọmọ ogun 768. Gẹgẹbi awọn oniwadi, eyi ni iṣeto TPU ti o tobi julọ sibẹsibẹ ti ṣafihan, gbigba wọn laaye lati ṣe iwọn ikẹkọ laisi lilo isọdọkan opo gigun ti epo.
Paipu paipu jẹ ilana ti apejọ awọn itọnisọna lati Sipiyu nipasẹ opo gigun ti epo ni apapọ. Awọn ipele ti awoṣe ti pin si awọn ipele ti o le ṣe atunṣe ni ọna ti o jọmọ nipasẹ apẹrẹ pipeline (tabi pipeline parallelism).
Iranti imuṣiṣẹ ni a firanṣẹ si igbesẹ ti n tẹle nigbati ipele kan ba pari iwe-iwọle siwaju fun ipele kekere kan. Awọn gradients lẹhinna ni a firanṣẹ sẹhin nigbati ipele atẹle ba pari itankale sẹhin.
PaLM Breakthrough Awọn agbara
PaLM ṣe afihan awọn agbara fifọ ilẹ ni ọpọlọpọ awọn iṣẹ ṣiṣe ti o nira. Eyi ni ọpọlọpọ awọn apẹẹrẹ:
1. Ede ẹda ati oye
PaLM ni idanwo lori awọn iṣẹ NLP oriṣiriṣi 29 ni Gẹẹsi.
Lori ipilẹ-shot diẹ, PaLM 540B ṣe afihan awọn awoṣe nla ti iṣaaju bi GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, ati LaMDA lori 28 ti awọn iṣẹ-ṣiṣe 29, pẹlu ṣiṣi-iṣiro-iṣiro iwe iyatọ awọn iṣẹ ṣiṣe idahun ibeere , cloze ati awọn iṣẹ-ṣiṣe ipari awọn gbolohun ọrọ, awọn iṣẹ-ṣiṣe ara-ara Winograd, awọn iṣẹ-ṣiṣe kika kika inu-ọrọ, awọn iṣẹ-ṣiṣe ti o wọpọ, awọn iṣẹ-ṣiṣe SuperGLUE, ati imọran adayeba.
Lori ọpọlọpọ awọn iṣẹ-ṣiṣe BIG-ibujoko, PaLM ṣe afihan itumọ ede abinibi ti o dara julọ ati awọn ọgbọn iran. Fun apẹẹrẹ, awoṣe le ṣe iyatọ laarin idi ati ipa, loye awọn akojọpọ imọran ni awọn ipo kan, ati paapaa gboju si fiimu naa lati inu emoji kan. Paapaa botilẹjẹpe o kan 22% ti koposi ikẹkọ kii ṣe Gẹẹsi, PaLM ṣe daradara lori awọn ipilẹ NLP multilingual, pẹlu itumọ, ni afikun si awọn iṣẹ-ṣiṣe NLP Gẹẹsi.
2. Ríronú
PaLM ṣe idapọ iwọn awoṣe pọ pẹlu idawọle-ti-ero lati ṣe afihan awọn ọgbọn aṣeyọri lori awọn italaya ero ti o nilo iṣiro-igbesẹ pupọ tabi ironu ọgbọn.
Awọn LLM ti tẹlẹ, gẹgẹbi Gopher, ni anfani diẹ si iwọn awoṣe ni awọn ofin ti imudara iṣẹ. PaLM 540B pẹlu itọsẹ-ti-ero ti o tọ dara daradara lori iṣiro mẹta ati awọn iwe data ironu ti o wọpọ meji.
PaLM ṣe ju Dimegilio ti o dara julọ ti iṣaaju ti 55%, eyiti o gba nipasẹ titọ-titun awoṣe GPT-3 175B pẹlu eto ikẹkọ ti awọn iṣoro 7500 ati apapọ rẹ pẹlu iṣiro itagbangba ati oludaniloju lati yanju 58 ida ọgọrun ti awọn ọran ni GSM8K, a ala ti ẹgbẹẹgbẹrun awọn ibeere iṣiro ipele ile-iwe ti o nira ni lilo itasi 8-shot.
Dimegilio tuntun yii jẹ akiyesi paapaa niwọn igba ti o sunmọ aropin 60% ti awọn idiwọ ti o ni iriri nipasẹ awọn ọmọ ọdun 9-12. O tun le dahun si awọn awada atilẹba ti ko si lori intanẹẹti.
3. Code Generation
Awọn LLM tun ti ṣe afihan lati ṣe daradara ni awọn iṣẹ ṣiṣe ifaminsi, pẹlu ṣiṣẹda koodu lati apejuwe ede adayeba (ọrọ-si-koodu), koodu itumọ laarin awọn ede, ati ipinnu awọn aṣiṣe akojọpọ. Laibikita nini koodu 5% nikan ninu dataset ikẹkọ ṣaaju, PaLM 540B ṣe daradara lori ifaminsi mejeeji ati awọn iṣẹ ṣiṣe ede adayeba ni awoṣe ẹyọkan.
Iṣẹ iṣe-shot diẹ rẹ jẹ iyalẹnu, bi o ṣe baamu Codex 12B ti o dara-aifwy lakoko ikẹkọ pẹlu awọn akoko 50 kere si koodu Python. Wiwa yii ṣe afẹyinti pẹlu awọn awari iṣaaju pe awọn awoṣe ti o tobi julọ le jẹ apẹẹrẹ daradara diẹ sii ju awọn awoṣe kekere nitori wọn le ni imunadoko gbigbe ẹkọ lati ọpọ. awọn ede siseto ati data ede mimọ.
ipari
PaLM ṣe afihan agbara eto Awọn ipa ọna lati ṣe iwọn si ẹgbẹẹgbẹrun awọn olutọsọna imuyara lori awọn TPU v4 Pods meji nipa ikẹkọ imunadoko ni awoṣe paramita 540-biliọnu kan pẹlu ikẹkọ daradara, ohunelo ti iṣeto ti o dara ti awoṣe Amunawa decoder-nikan.
O ṣaṣeyọri aṣeyọri iṣẹ-shot diẹ kọja ọpọlọpọ ti ṣiṣiṣẹ ede adayeba, ironu, ati awọn italaya ifaminsi nipa titari awọn aala ti iwọn awoṣe.
Fi a Reply