Nnukwu netwọkụ akwara ndị a zụrụ azụ maka njirimara asụsụ na ọgbọ egosipụtala nsonaazụ pụtara ìhè n'ọtụtụ ọrụ dị iche iche n'afọ ndị na-adịbeghị anya. GPT-3 gosiputara na enwere ike iji ụdị asụsụ buru ibu (LLMs) maka mmụta gbara obere ma nweta nsonaazụ mara mma na-achọghị data akọwapụtara nke ọma ma ọ bụ gbanwee paramita ụdị.
Google, Silicon Valley tech behemoth, ewebatala PaLM, ma ọ bụ Ụzọ Asụsụ Model, na ụlọ ọrụ teknụzụ zuru ụwa ọnụ dị ka ụdị asụsụ AI ọgbọ na-abịa. Google ewepụtala ihe ọhụrụ Amamịghe echiche ije n'ime PaLM nwere ebumnuche atụmatụ iji melite ogo ụdị asụsụ AI.
Na post a, anyị ga-enyocha nkwụ algọridim n'ụzọ zuru ezu, gụnyere paramita ejiri zụọ ya, okwu ọ na-edozi na ọtụtụ ndị ọzọ.
Gịnị bụ Google's PaLM algọridim?
Ụdị Asụsụ Ụzọ ụzọ bụ ihe Nkwụ na-anọchi anya. Nke a bụ algọridim ọhụrụ nke Google mebere iji wusie ụkpụrụ ụlọ Pathways AI ike. Ebumnuche bụ isi nke usoro a bụ ime otu nde ihe omume pụrụ iche n'otu oge.
Ndị a na-agụnye ihe niile site n'ịkọwapụta data mgbagwoju anya gaa n'ichepụta ihe. PaLM nwere ikike ịkarịrị ọgbara ọhụrụ AI ugbu a yana ụmụ mmadụ n'asụsụ na ọrụ ịtụgharị uche.
Nke a na-agụnye mmụta ole na ole, nke na-eṅomi otú ụmụ mmadụ si amụta ihe ọhụrụ na ijikọta ihe ọmụma dị iche iche iji dozie ihe ịma aka ọhụrụ nke a na-ahụtụbeghị mbụ, na uru nke igwe nwere ike iji ihe ọmụma ya niile dozie nsogbu ọhụrụ; Otu ihe atụ nke nkà a na PaLM bụ ikike ya ịkọwa egwuregwu ọ na-anụtụbeghị mbụ.
PaLM gosipụtara ọtụtụ nka nka n'ichepụta ọrụ dị iche iche siri ike, gụnyere nghota asụsụ na okike, mmemme metụtara koodu mgbako ọtụtụ nzọụkwụ, ntụzịaka ezi uche, ntụgharị asụsụ na ọtụtụ ndị ọzọ.
O gosila ikike ya iji dozie okwu ndị gbagwojuru anya site na iji usoro NLP ọtụtụ asụsụ. Ahịa teknụzụ zuru ụwa ọnụ nwere ike iji PaLM mee ka ọdịiche dị na ihe kpatara na mmetụta, ngwakọta echiche, egwuregwu dị iche iche na ọtụtụ ihe ndị ọzọ.
Ọ nwekwara ike iwepụta nkọwa miri emi maka ọtụtụ ọnọdụ site na iji ntinye ezi uche dị iche iche, asụsụ miri emi, ihe ọmụma zuru ụwa ọnụ, na usoro ndị ọzọ.
Kedu ka Google siri mepụta PaLM algọridim?
Maka arụmọrụ Google rụpụtara na PaLM, a na-ahazi ụzọ ga-abawanye ihe ruru ijeri 540. A na-amata ya dị ka otu ụdị nke nwere ike ịchịkọta nke ọma na nke ọma n'ọtụtụ ngalaba. Ụzọ dị na Google raara onwe ya nye ịmepụta kọmpụta kesara maka ndị na-eme ngwa ngwa.
PaLM bụ ihe ngbanwe naanị ihe ngbanwe nke a zụrụ azụ site na iji sistemu ụzọ. PaLM enweela ihe ịga nke ọma n'ịrụ ọrụ obere oge ọgbara ọhụrụ n'ofe ọtụtụ ọrụ, dịka Google siri kwuo. PaLM ejirila usoro okporo ụzọ gbasaa ọzụzụ na nhazi usoro sistemụ TPU kacha ukwuu, nke a maara dị ka ibe 6144 maka oge mbụ.
Nchịkọta data ọzụzụ maka ụdị asụsụ AI bụ ngwakọta nke bekee yana dataset asụsụ ọtụtụ ndị ọzọ. Site na okwu "enweghị efu", ọ nwere ọdịnaya webụ dị elu, mkparịta ụka, akwụkwọ, koodu GitHub, Wikipedia, na ọtụtụ ndị ọzọ. Achọpụtara okwu na-enweghị efu maka idowe oghere ọcha yana imebi mkpụrụedemede Unicode na-anọghị n'okwu a ka ọ bụrụ bytes.
Google na Pathways mepụtara PaLM na-eji usoro ihe ngbanwe ọkọlọtọ na nhazi ihe ndozi nke gụnyere SwiGLU Activation, akwa myirịta, ntinye RoPE, ntinye ntinye ntinye, nlebara anya ọtụtụ ajụjụ, na enweghị echiche ma ọ bụ okwu. N'aka nke ọzọ, PaLM dị njikere ịnye ntọala siri ike maka ụdị asụsụ AI nke Google na Pathways.
Parameter eji zụọ PaLM
N'afọ gara aga, Google wepụtara Pathways, otu ụdị nke nwere ike ịzụrụ ime ọtụtụ puku mmadụ, ma ọ bụghị ọtụtụ nde, nke a na-akpọ "ọgbọ AI architecture na-esote" ebe ọ nwere ike imeri njedebe ụdị dị ugbu a nke ịzụrụ ime naanị otu ihe. . Kama ịgbasa ikike nke ụdị dị ugbu a, a na-ewukarị ụdị ọhụrụ site na ala elu iji rụzuo otu ọrụ.
N'ihi ya, ha emepụtala ọtụtụ iri puku ụdị maka ọtụtụ iri puku ọrụ dị iche iche. Nke a bụ ọrụ na-ewe oge na nnukwu ego.
Google gosipụtara site na ụzọ ụzọ na otu ụdị nwere ike ijikwa mmemme dị iche iche wee dọta ma jikọta talent ugbu a iji mụta ọrụ ọhụrụ ngwa ngwa na nke ọma.
Ụdị dị iche iche nke gụnyere ọhụụ, nghota asụsụ, na nhazi nụ ihe niile n'otu oge nwere ike ime site na ụzọ. Model Asụsụ Ụzọ ụzọ (PaLM) na-enye ohere maka ọzụzụ nke otu ụdị n'ofe ọtụtụ TPU v4 Pods ekele maka ụdị paramita ijeri 540 ya.
PaLM, ihe ngbanwe nke naanị ihe ngbanwe na-agbanwe agbanwe, na-arụ ọrụ nke ọma n'ọkwa ole na ole n'ọtụtụ ọrụ dị iche iche. A na-azụ PaLM na TPU v4 Pods abụọ ejikọtara site na netwọk data center (DCN).
Ọ na-eji ma ihe nlereanya na data parallelism. Ndị nyocha ahụ jiri 3072 TPU v4 processors na Pod nke ọ bụla maka PaLM, nke ejikọrọ na ndị ọbịa 768. Dị ka ndị nchọpụta si kwuo, nke a bụ nhazi TPU kachasị ekpughere, na-enye ha ohere ịbawanye ọzụzụ na-enweghị iji usoro pipeline.
Ọkpụkpọ ọkpọkọ bụ usoro ịnakọta ntuziaka sitere na CPU site na pipeline n'ozuzu ya. A na-ekewa n'ígwé nke ihe nlereanya ahụ n'ime usoro nke enwere ike ịhazi ya n'otu oge site na ụdị pipeline parallelism (ma ọ bụ pipeline parallelism).
A na-eziga ebe nchekwa ọrụ na nzọụkwụ na-esote mgbe otu ọkwa mezue ngafe n'ihu maka obere obere ogbe. A na-ezigakwa gradients azụ azụ mgbe usoro na-esote mezuru mgbasa ya azụ.
Ike Nwepụta PaLM
PaLM na-egosiputa ikike imebi ala n'ọtụtụ ọrụ siri ike. Nke a bụ ọtụtụ ọmụmaatụ:
1. Ịmepụta asụsụ na nghọta
E tinyere PaLM n'ule na ọrụ 29 dị iche iche NLP na Bekee.
N'otu ntabi anya ole na ole, PaLM 540B pụtara nnukwu ụdị ndị gara aga dị ka GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, na LaMDA na ọrụ 28 nke 29, gụnyere ọrụ azịza ajụjụ dị iche iche nke akwụkwọ mechiri emechi. , Ọrụ mmecha nke mmechi na nkebi ahịrịokwu, Ọrụ ụdị Winograd, ọrụ nghota ọgụgụ n'ime ọnọdụ, ọrụ ntụgharị uche nkịtị, ọrụ SuperGLUE, na ntinye ebumpụta ụwa.
N'ọtụtụ ọrụ BIG-bench, PaLM na-egosipụta nkọwa asụsụ okike mara mma yana nka ọgbọ. Dịka ọmụmaatụ, ihe nlereanya ahụ nwere ike ịmata ọdịiche dị n'etiti ihe kpatara na mmetụta, ghọta nchikota echiche n'ọnọdụ ụfọdụ, na ọbụna maa ihe nkiri ahụ site na emoji. N'agbanyeghị na naanị 22% nke ụlọ ọrụ ọzụzụ abụghị Bekee, PaLM na-arụ ọrụ nke ọma na akara NLP ọtụtụ asụsụ, gụnyere ntụgharị, na mgbakwunye na ọrụ NLP Bekee.
2. asontụgharị uche
PaLM na-agwakọta nha ihe nlere anya na ntugharị echiche na-akpali akpali iji gosipụta nka nhụsianya n'ịtụle ihe ịma aka nke chọrọ mgbakọ na mwepụ multistep ma ọ bụ echiche nkịtị.
LLM gara aga, dị ka Gopher, rite uru dị obere na nha ụdị n'ihe gbasara ịkwalite arụmọrụ. The PaLM 540B nwere yinye-nke-echiche kpaliri nke ọma na mgbakọ na mwepụ atọ na abụọ nkịtị echiche datasets.
PaLM karịrị akara kacha mma gara aga nke 55%, nke enwetara site na imezigharị ụdị GPT-3 175B yana usoro ọzụzụ nke nsogbu 7500 yana ijikọ ya na mgbako mpụga na nyocha iji dozie 58% nke nsogbu dị na GSM8K, a akara nke ọtụtụ puku ajụjụ mgbakọ na mwepụ ọkwa ọkwa siri ike site na iji mkpali 8-shot.
Akara ọhụrụ a bụ ihe kwesịrị ịrịba ama ebe ọ na-abịaru nso na nkezi 60% nke ihe mgbochi ndị dị afọ 9-12 nwetara. Ọ nwekwara ike ịzaghachi njakịrị mbụ na-adịghị na ịntanetị.
3. Usoro Ọgbọ
E gosikwara LLM ka ha na-arụ ọrụ nke ọma na ntinye koodu, gụnyere ịmepụta koodu site na nkọwa asụsụ okike (ederede-na-koodu), koodu ntụgharị asụsụ n'etiti asụsụ, na idozi mperi nchịkọta. N'agbanyeghị naanị inwe koodu 5% na dataset ọzụzụ tupu ọzụzụ, PaLM 540B na-arụ ọrụ nke ọma na ntinye koodu yana ọrụ asụsụ okike n'otu ụdị.
Arụmọrụ ya ole na ole dị ịtụnanya, ebe ọ dabara na Codex 12B dị mma ka ọ na-azụ ya na koodu Python ugboro 50 na-erughị ya. Nchọta a na-achọpụta na nchoputa mbụ na ụdị ndị buru ibu nwere ike ịba uru karịa obere ụdị n'ihi na ha nwere ike ịnyefe mmụta n'ụzọ dị irè site na otutu. asụsụ mmemme na data asụsụ dị larịị.
mmechi
PaLM na-egosi ikike usoro ụzọ ụzọ iji tụọ puku kwuru puku ndị na-eme ngwa ngwa karịa TPU v4 Pods abụọ site n'ịzụ ezigbo ihe nlereanya paramita ijeri 540 nke nwere usoro ọmụmụ nke ọma, nke ọma nke ezigbo ihe ngbanwe nke ụdị ihe ngbanwe nwere naanị.
Ọ na-enweta ọganihu ole na ole n'ịrụ ọrụ n'ọtụtụ dị iche iche nke nhazi asụsụ okike, ntụgharị uche, na ịma aka itinye akwụkwọ site na ịkwanye oke nke usoro ihe atụ.
Nkume a-aza