Tá torthaí sármhaithe léirithe ag líonraí néaracha móra a cuireadh oiliúint orthu le haghaidh aitheantais agus giniúna teanga i gcúraimí éagsúla le blianta beaga anuas. Chruthaigh GPT-3 go bhféadfaí mionsamhlacha teanga (LLManna) a úsáid le haghaidh foghlama ar bheagán seat agus torthaí sármhaithe a fháil gan sonraí fairsinge tasc-shonracha a bheith ag teastáil nó paraiméadair mhúnla a athrú.
Thug Google, an behemoth teicneolaíochta Silicon Valley, PaLM, nó Pathways Language Model, isteach don tionscal teicneolaíochta domhanda mar mhúnla AI-teanga den chéad ghlúin eile. Tá leagan nua ionchorpraithe ag Google hintleachta saorga ailtireacht i PaLM le haidhmeanna straitéiseacha chun cáilíocht na samhla AI-teanga a fheabhsú.
Sa phost seo, scrúdóimid an algartam Palm go mion, lena n-áirítear na paraiméadair a úsáidtear chun é a oiliúint, an cheist a réitíonn sé, agus i bhfad níos mó.
Cad é Algartam PaLM Google?
Is é Pathways Language Model cad é pailme sheasann do. Is algartam nua é seo arna fhorbairt ag Google chun ailtireacht Pathways AI a neartú. Is é príomhsprioc an struchtúir ná milliún gníomhaíocht ar leith a dhéanamh ag an am céanna.
Ina measc seo tá gach rud ó shonraí casta a dhíchóimeáil go réasúnaíocht dhéaduchtach. Tá an cumas ag PaLM dul thar an AI reatha den scoth chomh maith le daoine i dtascanna teanga agus réasúnaíochta.
Áirítear leis seo Few-Shot Learning, a dhéanann aithris ar an gcaoi a bhfoghlaimíonn daoine rudaí nua agus a chomhcheanglaíonn píosaí éagsúla eolais chun dul i ngleic le dúshláin nua nach bhfacthas riamh cheana, le leas a bhaint as meaisín ar féidir leis a chuid eolais ar fad a úsáid chun dúshláin nua a réiteach; sampla amháin den scil seo in PaLM is ea an cumas atá aige joke nár chuala sé riamh a mhíniú.
Thaispeáin PaLM go leor scileanna ceannródaíocha ar thascanna dúshlánacha éagsúla, lena n-áirítear tuiscint agus cruthú teanga, gníomhaíochtaí ilchéimneach a bhain le cód, réasúnaíocht chiallmhar, aistriúchán agus go leor eile.
Tá sé léirithe aige go bhfuil ar a chumas saincheisteanna casta a réiteach trí úsáid a bhaint as tacair ilteangacha NLP. Is féidir leis an margadh domhanda teicneolaíochta PaLM a úsáid chun idirdhealú a dhéanamh idir cúis agus éifeacht, teaglaim choincheapa, cluichí ar leith, agus go leor rudaí eile.
Is féidir leis mionmhínithe a ghiniúint freisin ar go leor comhthéacsanna ag baint úsáide as tátal loighciúil ilchéime, teanga dhomhain, eolas domhanda, agus teicnící eile.
Conas a d'fhorbair Google an t-algartam PaLM?
Maidir le feidhmíocht cheannródaíoch Google in PaLM, tá cosáin sceidealaithe le scála suas le 540 billiún paraiméadair. Aithnítear é mar an tsamhail amháin is féidir a ghinearálú go héifeachtúil agus go héifeachtach thar go leor réimsí. Tá Pathways at Google tiomanta do ríomhaireacht dháilte a fhorbairt do luasairí.
Samhail de chlaochladán díchódóra amháin is ea PaLM a cuireadh oiliúint ar an gcóras Pathways. D'éirigh le PaLM feidhmíocht cúpla seat den scoth a bhaint amach thar roinnt ualaí oibre, de réir Google. D'úsáid PaLM an córas Pathways chun oiliúint a leathnú go dtí an chumraíocht chórais is mó atá bunaithe ar TPU, ar a dtugtar 6144 sliseanna den chéad uair.
Tá tacar sonraí oiliúna don tsamhail AI-teanga comhdhéanta de mheascán de thacair sonraí Béarla agus tacair sonraí ilteangacha eile. Le stór focal “gan chailliúint”, tá ábhar gréasáin ardchaighdeáin, díospóireachtaí, leabhair, cód GitHub, Vicipéid, agus go leor eile ann. Aithnítear stór focal gan chailliúint chun spás bán a choinneáil agus carachtair Unicode nach bhfuil sa stór focal a bhriseadh ina mbearta.
D'fhorbair Google agus Pathways PaLM ag baint úsáide as ailtireacht samhail claochladán caighdeánach agus cumraíocht díchódóra a chuimsigh Gníomhachtaithe SwiGLU, sraitheanna comhthreomhara, leabaithe RoPE, leabaithe ionchuir-aschuir roinnte, aird ilcheisteanna, agus gan aon laofacht ná stór focal. Ar an láimh eile, tá PaLM réidh chun bonn láidir a sholáthar do mhúnla AI-teanga Google agus Pathways.
Paraiméadair a úsáidtear chun PaLM a thraenáil
Anuraidh, sheol Google Pathways, samhail aonair ar féidir a oiliúint chun na mílte, nó na milliúin, de rudaí a dhéanamh - ar a dtugtar “ailtireacht AI na chéad ghlúine eile” toisc gur féidir leis teorainneacha samhlacha reatha a shárú maidir le hoiliúint a chur ar rud amháin. . Seachas cumais na múnlaí reatha a leathnú, is minic a thógtar samhlacha nua ón mbun aníos chun jab amháin a dhéanamh.
Mar thoradh air sin, tá na mílte samhlacha cruthaithe acu le haghaidh na mílte gníomhaíochtaí éagsúla. Is tasc é seo a thógann am agus a dhianaíonn acmhainní.
Chruthaigh Google trí Pathways go bhféadfadh múnla amháin gníomhaíochtaí éagsúla a láimhseáil agus leas a bhaint as buanna reatha agus iad a chomhcheangal chun tascanna nua a fhoghlaim níos tapúla agus níos éifeachtaí.
D’fhéadfaí samhlacha ilmhódacha a chuimsíonn fís, tuiscint theangeolaíoch, agus próiseáil éisteachta a chumasú ag an am céanna trí bhealaí. Ceadaíonn an tSamhail Teanga Pathways (PaLM) d’oiliúint a dhéanamh ar mhúnla aonair thar go leor Podaí TPU v4 a bhuíochas dá samhail paraiméadar 540 billiún.
Is fearr le PaLM, múnla dlúth díchódóra-amháin Trasfhoirmeora, feidhmíocht cúpla seat den scoth thar raon leathan ualaí oibre. Tá oiliúint á cur ar PaLM ar dhá Shoda TPU v4 atá nasctha trí líonra ionad sonraí (DCN).
Baineann sé leas as comhthreomhaireacht mhúnla agus sonraí araon. D'fhostaigh na taighdeoirí 3072 próiseálaí TPU v4 i ngach Pod le haghaidh PaLM, a bhí ceangailte le 768 óstach. De réir na dtaighdeoirí, is é seo an chumraíocht TPU is mó a nochtadh go fóill, rud a ligeann dóibh oiliúint a scála gan comhthreomhaireacht píblíne a fhostú.
Is éard atá i líneáil píopa ná an próiseas chun treoracha a bhailiú ón LAP trí phíblíne i gcoitinne. Roinntear sraitheanna an mhúnla i gcéimeanna ar féidir iad a phróiseáil go comhthreomhar trí chomhthreomhaireacht mhúnla píblíne (nó comhthreomharán píblíne).
Seoltar an chuimhne gníomhachtaithe chuig an gcéad chéim eile nuair a chríochnaíonn céim amháin an pas ar aghaidh le haghaidh micrea-bhaisc. Seoltar na grádáin ar gcúl ansin nuair a chríochnaíonn an chéim seo a leanas a iomadú siar.
Cumais Briseadh PaLM
Léiríonn PaLM cumais cheannródaíocha i raon tascanna deacra. Seo roinnt samplaí:
1. Cruthú agus tuiscint teanga
Cuireadh PaLM faoi thástáil ar 29 tasc NLP éagsúla i mBéarla.
Ar bhonn cúpla lámhaigh, d’fheidhmigh PaLM 540B níos fearr ná múnlaí móra roimhe seo ar nós GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, agus LaMDA ar 28 de 29 tasc, lena n-áirítear tascanna freagartha ceiste leabhar dúnta oscailte. , tascanna comhlánaithe pianbhreithe, tascanna ar stíl Winograd, tascanna léamhthuisceana in-chomhthéacs, tascanna réasúnaíochta ciallmhara, tascanna SuperGLUE, agus tátal nádúrtha.
Ar roinnt tascanna BIG-binse, léiríonn PaLM scileanna nádúrtha léirmhínithe agus giniúna den scoth. Mar shampla, is féidir leis an tsamhail idirdhealú a dhéanamh idir cúis agus éifeacht, tuiscint a fháil ar chomhcheangail choincheapa i gcásanna áirithe, agus fiú an scannán a thomhas ó emoji. Cé nach bhfuil ach 22% den chorpas oiliúna neamh-Bhéarla, feidhmíonn PaLM go maith ar thagarmharcanna ilteangacha NLP, lena n-áirítear aistriúchán, chomh maith le tascanna Béarla NLP.
2. Réasúnaíocht
Meascann PaLM méid na samhla le leideanna slabhra smaoinimh chun scileanna cinn a léiriú ar dhúshláin réasúnaíochta a éilíonn ilchéimneach uimhríochtúil nó réasúnaíocht chiallmhar.
Bhain LLManna roimhe seo, mar Gopher, níos lú tairbhe as méid an mhúnla i dtéarmaí feidhmíochta a fheabhsú. D’éirigh go maith leis an PaLM 540B le leideanna slabhra smaoinimh ar thrí thacar sonraí uimhríochta agus dhá thacar sonraí smaointeoireachta ciallmhar.
Is fearr le PaLM an scór is fearr roimhe seo de 55%, a fuarthas tríd an tsamhail GPT-3 175B a mhionchoigeartú le sraith oiliúna de 7500 fadhb agus é a chomhcheangal le háireamhán seachtrach agus fíoraitheoir chun 58 faoin gcéad de na saincheisteanna i GSM8K a réiteach, a tagarmharcáil na mílte ceisteanna mata leibhéal scoile grád deacair ag baint úsáide as leideanna 8-urchar.
Is díol suntais an scór nua seo go háirithe ós rud é go bhfuil sé ag druidim leis an meán de 60% de na constaicí a bhíonn ag leanaí 9-12 bliana d’aois. Is féidir leis freagairt freisin do scéalta grinn bunaidh nach bhfuil ar fáil ar an idirlíon.
3. Giniúint Cód
Léiríodh freisin go n-éiríonn go maith le LLManna i dtascanna códaithe, lena n-áirítear cód a ghiniúint ó chur síos teanga nádúrtha (téacs-go-cód), cód a aistriú idir teangacha, agus earráidí tiomsaithe a réiteach. Cé nach bhfuil ach 5% de chód sa tacar sonraí réamhoiliúna, feidhmíonn PaLM 540B go maith maidir le códú agus tascanna teanga nádúrtha in aon mhúnla amháin.
Tá a fheidhmíocht cúpla lámhaigh dochreidte, mar go dtagann sé leis an Codex 12B mionchoigeartaithe agus é ag traenáil le 50 uair níos lú cód Python. Tacaíonn an toradh seo le torthaí roimhe seo gur féidir le samhlacha níos mó a bheith níos éifeachtúla ó thaobh samplaí de ná samhlacha níos lú mar gur féidir leo foghlaim a aistriú ón iolrachas ar bhealach níos éifeachtaí teangacha cláir agus sonraí teanga shimplí.
Conclúid
Léiríonn PaLM cumas an chórais Pathways scála a dhéanamh go dtí na mílte próiseálaí luasaire thar dhá Pod TPU v4 trí mhúnla paraiméadar 540-billiún a oiliúint go héifeachtach le hoideas dea-staidéir, dea-bhunaithe de shamhail trasfhoirmeoir dlúth díchódóra amháin.
Baineann sé feidhmíocht cheannródaíoch amach thar raon de dhúshláin nádúrtha próiseála, réasúnaíochta agus códaithe teanga trí theorainneacha scála na samhla a bhrú.
Leave a Reply