ʻO nā pūnaewele neural nui i aʻo ʻia no ka ʻike ʻana i ka ʻōlelo a me ka hanauna i hōʻike i nā hopena koʻikoʻi i nā hana like ʻole i nā makahiki i hala. Ua hōʻoia ʻo GPT-3 e hiki ke hoʻohana ʻia nā ʻōlelo hoʻohālike nui (LLM) no ke aʻo ʻana i nā kiʻi liʻiliʻi a loaʻa nā hopena maikaʻi loa me ka ʻole e koi i ka ʻikepili kikoʻī hana nui a i ʻole ka hoʻololi ʻana i nā ʻāpana hoʻohālike.
Ua hoʻolauna ʻo Google, ka Silicon Valley tech behemoth, iā PaLM, a i ʻole Pathways Language Model, i ka ʻoihana ʻenehana honua ma ke ʻano he kumu hoʻohālike AI-ʻōlelo hou. Ua hoʻokomo ʻo Google i kahi mea hou ʻimi hoʻopunipuni manao hoʻolālā i loko o PaLM me ka manaʻo hoʻolālā e hoʻomaikaʻi i ka maikaʻi o ke kumu hoʻohālike ʻōlelo AI.
Ma kēia pou, e nānā mākou i ka Palm algorithm i nā kikoʻī, me nā ʻāpana i hoʻohana ʻia e hoʻomaʻamaʻa iā ia, ka pilikia e hoʻoponopono ai, a me nā mea hou aku.
He aha ʻO Google's PaLM algorithm?
ʻO ke kumu hoʻohālike ʻōlelo ʻo Pathways he aha PALAMA kū no. He algorithm hou kēia i hoʻomohala ʻia e Google i mea e hoʻoikaika ai i ka hoʻolālā Pathways AI. ʻO ka pahuhopu nui o ka hale e hana i hoʻokahi miliona mau hana like ʻole i ka manawa hoʻokahi.
Hoʻopili kēia i nā mea āpau mai ka wehewehe ʻana i ka ʻikepili paʻakikī i ka noʻonoʻo deductive. Loaʻa iā PaLM ka hiki ke ʻoi aku ma mua o ke kūlana AI o kēia manawa a me nā kānaka ma ka ʻōlelo a me nā hana noʻonoʻo.
Loaʻa kēia i ka Few-Shot Learning, e hoʻohālike ana i ke aʻo ʻana o ke kanaka i nā mea hou a hoʻohui i nā ʻāpana ʻike like ʻole e hoʻoponopono i nā pilikia hou i ʻike ʻole ʻia ma mua, me ka pōmaikaʻi o kahi mīkini hiki ke hoʻohana i kona ʻike āpau e hoʻoponopono i nā pilikia hou; ʻO kekahi laʻana o kēia mākaukau ma PaLM, ʻo ia ka hiki ke wehewehe i kahi ʻakaʻaka i lohe ʻole ʻia ma mua.
Ua hōʻike ʻo PaLM i nā mākau holomua ma nā hana paʻakikī like ʻole, me ka hoʻomaopopo ʻana i ka ʻōlelo a me ka hana ʻana, nā hana e pili ana i nā code multistep arithmetic, ka noʻonoʻo maʻamau, ka unuhi ʻana, a me nā mea hou aku.
Ua hōʻike ʻo ia i kona hiki ke hoʻoponopono i nā pilikia paʻakikī me ka hoʻohana ʻana i nā pūʻulu NLP multilingual. Hiki ke hoʻohana ʻia ʻo PaLM e ka mākeke ʻenehana honua e hoʻokaʻawale i ke kumu a me ka hopena, nā hui manaʻo, nā pāʻani ʻokoʻa, a me nā mea ʻē aʻe he nui.
Hiki iā ia ke hoʻopuka i nā wehewehe hohonu no nā pōʻaiapili he nui me ka hoʻohana ʻana i ka inference logical multistep, ka ʻōlelo hohonu, ka ʻike honua, a me nā ʻenehana ʻē aʻe.
Pehea ʻo Google i hoʻomohala ai i ka PaLM algorithm?
No ka hoʻokō ʻana o Google ma PaLM, ua hoʻonohonoho ʻia nā ala e piʻi i ka 540 biliona mau ʻāpana. ʻIke ʻia ʻo ia ke kumu hoʻohālike e hiki ai ke hoʻolahalaha maikaʻi a me ka maikaʻi ma waena o nā kikowaena lehulehu. Hoʻolaʻa ʻia ʻo Pathways ma Google i ka hoʻomohala ʻana i ka helu helu puʻupuʻu no nā mea hoʻokele.
ʻO ka PaLM kahi hoʻohālike hoʻololi decoder wale nō i aʻo ʻia me ka hoʻohana ʻana i ka ʻōnaehana Pathways. Ua hoʻokō maikaʻi ʻia ʻo PaLM i nā hana liʻiliʻi liʻiliʻi ma waena o nā haʻahaʻa hana, e like me Google. Ua hoʻohana ʻo PaLM i ka ʻōnaehana Pathways no ka hoʻonui ʻana i ka hoʻomaʻamaʻa ʻana i ka hoʻonohonoho hoʻonohonoho ʻōnaehana hoʻokumu ʻia ʻo TPU nui loa, i ʻike ʻia ʻo 6144 chips no ka manawa mua.
Hoʻokumu ʻia kahi ʻikepili hoʻomaʻamaʻa no ke kumu hoʻohālike ʻōlelo AI me ka hui pū ʻana o ka ʻōlelo Pelekania a me nā ʻikepili lehulehu ʻē aʻe. Me kahi huaʻōlelo "lossless", loaʻa iā ia ka ʻike pūnaewele kiʻekiʻe, nā kūkākūkā, nā puke, ka code GitHub, Wikipedia, a me nā mea hou aku. ʻIke ʻia nā huaʻōlelo nalowale no ka mālama ʻana i ke keʻokeʻo a me ka uhaki ʻana i nā huaʻōlelo Unicode ʻaʻole i loko o ka huaʻōlelo i nā byte.
Ua hoʻomohala ʻia ʻo PaLM e Google a me Pathways me ka hoʻohana ʻana i kahi hoʻolālā hoʻohālike transformer maʻamau a me kahi hoʻonohonoho decoder i hoʻokomo ʻia i ka SwiGLU Activation, nā papa like, RoPE embeddings, kaʻana like ʻana i ka hoʻokomo ʻana i ka hoʻokomo ʻana, ka nānā ʻana i nā nīnau he nui, ʻaʻohe manaʻo a i ʻole nā huaʻōlelo. ʻO PaLM, ma ka ʻaoʻao ʻē aʻe, ua mākaukau e hāʻawi i kumu paʻa no Google a me Pathways 'AI-language model.
Nā ʻāpana i hoʻohana ʻia no ke aʻo ʻana iā PaLM
I ka makahiki i hala aku nei, ua hoʻolaha ʻo Google i nā Pathways, kahi kumu hoʻohālike e hiki ke hoʻomaʻamaʻa ʻia e hana i nā tausani, inā ʻaʻole miliona, o nā mea-i kapa ʻia ʻo "ka hana hoʻolālā AI o ka hanauna hou" no ka mea hiki iā ia ke lanakila i nā palena o nā hiʻohiʻona i aʻo ʻia e hana i hoʻokahi mea wale nō. . Ma mua o ka hoʻonui ʻana i nā mana o nā hiʻohiʻona o kēia manawa, kūkulu pinepine ʻia nā hiʻohiʻona hou mai lalo a hiki i ka hana hoʻokahi.
ʻO ka hopena, ua hana lākou i ʻumi kaukani mau hiʻohiʻona no nā ʻumi kaukani o nā hana like ʻole. He hana hoʻopau manawa kēia a me ka waiwai.
Ua hōʻoia ʻo Google ma o Pathways e hiki i ke kumu hoʻokahi ke mālama i nā hana like ʻole a huki a hoʻohui i nā kālena o kēia manawa e aʻo i nā hana hou me ka wikiwiki a me ka maikaʻi.
Hiki ke hoʻohana ʻia nā hiʻohiʻona multimodal me ka ʻike maka, ka ʻōlelo ʻōlelo, a me ka hoʻoponopono auditory āpau i ka manawa like. Hiki i ka Pathways Language Model (PaLM) ke hoʻomaʻamaʻa ʻana i hoʻokahi kumu hoʻohālike ma waena o nā TPU v4 Pods e hoʻomaikaʻi i kāna kumu hoʻohālike he 540 biliona.
ʻO PaLM, he kumu hoʻohālike Transformer decoder-wale nō, ʻoi aku ka maikaʻi o ka hana kiʻi kiʻi kiʻi liʻiliʻi ma waena o nā ʻano hana. Ke aʻo ʻia nei ʻo PaLM ma ʻelua TPU v4 Pods i hoʻopili ʻia ma o kahi kikowaena kikowaena data (DCN).
Hoʻohana pono ia i ka hoʻohālike a me ka parallelism data. Ua hoʻohana nā mea noiʻi i 3072 TPU v4 kaʻina hana i kēlā me kēia Pod no PaLM, i hoʻopili ʻia me 768 mau pūʻali. Wahi a nā mea noiʻi, ʻo kēia ka hoʻonohonoho TPU nui loa i hōʻike ʻia, e ʻae iā lākou e hoʻonui i ka hoʻomaʻamaʻa ʻana me ka ʻole o ka hoʻohana ʻana i ka pipeline parallelism.
ʻO ka paipu paipu ke kaʻina o ka hōʻiliʻili ʻana i nā ʻōlelo kuhikuhi mai ka CPU ma o ka pipeline ma ke ʻano laulā. Hoʻokaʻawale ʻia nā papa o ke kŘkohu i nā ʻāpana i hiki ke hana like ʻia ma o ka pipeline model parallelism (a i ʻole pipeline parallelism).
Hoʻouna ʻia ka hoʻomanaʻo hoʻāla i ka ʻanuʻu aʻe ke hoʻopau kekahi pae i ka pass i mua no kahi micro-batch. Hoʻouna ʻia nā gradients ma hope ke hoʻopau ka pae aʻe i kāna hoʻolaha hope.
PaLM Breakthrough hiki
Hōʻike ʻo PaLM i ka hiki ʻana i ka honua i nā ʻano hana paʻakikī. Eia kekahi mau laʻana:
1. Hoʻokumu a hoʻomaopopo ʻana i ka ʻōlelo
Ua hoʻāʻo ʻia ʻo PaLM ma 29 mau hana NLP like ʻole ma ka ʻōlelo Pelekania.
Ma ke kumu pōkole, ua lanakila ʻo PaLM 540B i nā hiʻohiʻona nui ma mua e like me GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, a me LaMDA ma 28 o 29 mau hana, me ka wehe ʻana i ka puke pani pani ʻia nā hana pane pane. , nā hana cloze a me ka hoʻopau ʻōlelo, nā hana ʻano Winograd, nā hana hoʻomaopopo heluhelu i loko o ke ʻano, nā hana noʻonoʻo maʻamau, nā hana SuperGLUE, a me ka ʻike kūlohelohe.
Ma kekahi mau hana BIG-bench, hōʻike ʻo PaLM i ka wehewehe ʻōlelo kūlohelohe maikaʻi loa a me nā mākau hanauna. No ka laʻana, hiki i ke kŘkohu ke hoʻokaʻawale i waena o ke kumu a me ka hopena, hoʻomaopopo i ka hui ʻana o ka manaʻo i kekahi mau kūlana, a koho pū i ke kiʻiʻoniʻoni mai kahi emoji. ʻOiai ʻo 22% wale nō o ka hui hoʻomaʻamaʻa ʻaʻole ka ʻōlelo Pelekania, hoʻokō maikaʻi ʻo PaLM ma nā pae ʻōlelo NLP lehulehu, me ka unuhi ʻana, me ka hoʻohui ʻana i nā hana NLP English.
2. Ke kumu noʻonoʻo
Hoʻohui ʻo PaLM i ka nui hoʻohālike me ke kaulahao noʻonoʻo e hōʻike i nā mākau holomua ma ka noʻonoʻo ʻana i nā pilikia e koi ana i ka helu multistep a i ʻole ka noʻonoʻo maʻamau.
ʻO nā LLM ma mua, e like me Gopher, ua liʻiliʻi ka pōmaikaʻi mai ka nui o ke kumu hoʻohālike e pili ana i ka hoʻonui ʻana i ka hana. ʻO ka PaLM 540B me ke kaulahao-no-noʻonoʻo hoʻoikaika i ka maikaʻi ma ʻekolu helu helu a me ʻelua mau ʻikepili noʻonoʻo noʻonoʻo.
ʻOi aku ka maikaʻi o ka PaLM ma mua o ka helu maikaʻi loa o 55%, i loaʻa ma ka hoʻoponopono maikaʻi ʻana i ke kumu hoʻohālike GPT-3 175B me kahi hoʻonohonoho hoʻomaʻamaʻa o nā pilikia 7500 a hui pū me ka helu helu waho a me ka hōʻoia e hoʻoponopono i ka 58 pakeneka o nā pilikia ma GSM8K, a ka pae helu o nā kaukani nīnau makemakika pae kula papa paʻakikī me ka hoʻohana ʻana i ka paipai 8-pana.
He mea koʻikoʻi kēia helu hou no ka mea ua kokoke ia i ka 60% awelika o nā pilikia i ʻike ʻia e nā keiki 9-12 makahiki. Hiki iā ia ke pane i nā ʻakaʻaka kumu ʻaʻole i loaʻa ma ka pūnaewele.
3. Hoʻokumu Code
Ua hōʻike ʻia hoʻi nā LLM i ka hana maikaʻi i nā hana coding, me ka hoʻopuka ʻana i nā code mai kahi wehewehe ʻōlelo kūlohelohe (text-to-code), ka unuhi ʻana i nā code ma waena o nā ʻōlelo, a me ka hoʻoponopono ʻana i nā hewa hōʻuluʻulu. ʻOiai ka loaʻa ʻana o 5% code i loko o ka ʻikepili ma mua o ka hoʻomaʻamaʻa ʻana, hana maikaʻi ʻo PaLM 540B i nā hana coding a me nā hana ʻōlelo kūlohelohe i hoʻokahi kumu hoʻohālike.
Maikaʻi kāna hana liʻiliʻi, no ka mea, pili ia i ka Codex 12B i hoʻopaʻa ʻia ʻoiai ke aʻo ʻana me 50 mau manawa liʻiliʻi Python code. Hoʻihoʻi ʻia kēia ʻike me nā ʻike mua e hiki ke ʻoi aku ka maikaʻi o nā hiʻohiʻona nui ma mua o nā hiʻohiʻona liʻiliʻi no ka mea hiki iā lākou ke hoʻololi i ke aʻo ʻana mai nā mea he nui. nā ʻōlelo hoʻonohonoho a me ka ʻikepili ʻōlelo maʻalahi.
Panina
Hōʻike ʻo PaLM i ka hiki o ka ʻōnaehana Pathways ke hoʻonui i nā kaukani o nā mea hoʻoheheʻe accelerator ma luna o ʻelua TPU v4 Pods ma o ka hoʻomaʻamaʻa maikaʻi ʻana i kahi kumu hoʻohālike he 540-biliona me kahi meaʻai i aʻo maikaʻi ʻia a hoʻokumu ʻia o kahi kumu hoʻohālike decoder-only Transformer.
Loaʻa iā ia ka holomua o ka hana liʻiliʻi kiʻi ma waena o nā ʻano o ka hoʻoponopono ʻōlelo kūlohelohe, ka noʻonoʻo ʻana, a me ka hoʻopaʻa ʻana i nā luʻi ma ke kaomi ʻana i nā palena o ke kumu hoʻohālike.
Waiho i ka Reply