Table of Contents[Hūnā][Hōʻike]
ʻO GPT-3, ka pūnaewele neural nui o kēia manawa, i paʻi ʻia ma Mei 2020 e Aia, ka hoʻomaka ʻana o AI i hoʻokumu pū ʻia e Elon Musk a me Sam Altman. He kumu hoʻohālike ʻōlelo ʻoki ʻia ʻo GPT-3 me 175 biliona mau ʻāpana i hoʻohālikelike ʻia me 1,5 biliona mau ʻāpana i kāna GPT-2 mua.
Ua ʻoi aku ka maikaʻi o GPT-3 i kā Microsoft NLG Turing kumu hoʻohālike (Turing Natural Language Generation), nāna i mālama mua i ka mooolelo no ka pūnaewele neural nui loa me 17 billion mau palena.
Ua hoʻomaikaʻi ʻia ke kumu hoʻohālike ʻōlelo, hoʻohewa ʻia, a nānā ʻia hoʻi; ua hoʻohana hou ʻia nā mea hou a hoihoi. A i kēia manawa ua hōʻike ʻia ʻo GPT-4, ka paʻi hou o ka OpenAI kumu hoʻohālike ʻōlelo, e hiki koke mai ana.
Ua hōʻea ʻoe i ka pūnaewele kūpono inā makemake ʻoe e aʻo hou e pili ana i ka GPT-4. E nānā mākou i ka GPT-4 i ka hohonu ma kēia ʻatikala, e uhi ana i kāna mau ʻāpana, pehea e hoʻohālikelike ai i nā kumu hoʻohālike ʻē aʻe, a me nā mea hou aku.
No laila, he aha ka GPT-4?
No ka hoʻomaopopo ʻana i ke ʻano o ka GPT-4, pono mākou e hoʻomaopopo mua iā GPT-3, ʻo kona precursor. ʻO GPT-3 (Generative Pre-trained Transformer, kolu-hanauna) he mea hana ʻokoʻa ʻokoʻa.
Hoʻokomo nā mea hoʻohana i ka ʻikepili i a aʻo aʻo kumu hoʻohālike, hiki iā ia ke hana i nā helu nui o nā palapala kūpono i ka pane, e like me OpenAI. E ʻoi aku ka maikaʻi o ka GPT-4 i ka hana nui ʻana i nā kūlana pana liʻiliʻi - kahi ʻano aʻo aʻo - e hoʻokokoke ana i nā hopena i ko ke kanaka.
ʻO ka GPT-3 he mau haneli miliona paona no ke kūkulu ʻana, akā ua wānana ʻia ʻo GPT-4 e ʻoi aku ka nui o ke kumukūʻai no ka mea ʻoi aku ka nui o ʻelima haneli i ka nui. No ka waiho ʻana i kēia ma ke ʻano,
Loaʻa paha i ka GPT-4 nā ʻano like me nā synapses i loko o ka lolo. E hoʻohana nui ʻo GPT-4 i nā ʻano hana like me GPT-3, no laila ma mua o ka lele ʻana i ka paradigm, e hoʻonui ʻo GPT-4 i ka mea a GPT-3 e hoʻokō nei i kēia manawa - akā me ka mana inference ʻoi aku ka nui.
Ua ʻae ʻo GPT-3 i nā mea hoʻohana e hoʻokomo i ka ʻōlelo kūlohelohe no nā kumu kūpono, akā pono nō naʻe ka mākaukau no ka hoʻolālā ʻana i kahi wikiwiki e loaʻa ai nā hopena maikaʻi. E ʻoi aku ka maikaʻi o ka GPT-4 i ka wānana i ka manaʻo o nā mea hoʻohana.
He aha nā ʻāpana GPT-4?
ʻOiai ʻo ia kekahi o nā holomua AI i kali nui ʻia, ʻaʻohe mea i ʻike ʻia e pili ana i ka GPT-4: pehea kona ʻano, he aha nā hiʻohiʻona e loaʻa iā ia, a me nā mana e loaʻa iā ia.
I ka makahiki i hala, ua hana ʻo Altman i kahi Q&A a hōʻike i kekahi mau kikoʻī e pili ana i nā makemake o OpenAI no GPT-4. ʻAʻole ʻoi aku ka nui ma mua o GPT-3, e like me Altman. ʻAʻole paha i hoʻohana nui ʻia ka GPT-4 kumu hoʻohālike ʻōlelo. ʻOiai e nui ke kumu hoʻohālike i ka hoʻohālikelike ʻana i nā hanauna o mua o nā hanana laulā, ʻaʻole ʻo kona nui kona ʻano ʻokoʻa. ʻO GPT-3 a me Gopher nā moho kūpono loa (175B-280B).
Nvidia a me Microsoft's Megatron-Turing NLG i mālama i ka mooolelo no ka ʻupena neural ʻoi loa nā ʻāpana ma 530B – ʻekolu manawa i ko GPT-3 – a hiki i ka wā i lawe ai ʻo Google PaLM iā ia ma 540B. ʻO ka mea kupanaha, ʻoi aku ka nui o nā hiʻohiʻona liʻiliʻi ma mua o ka MT-NLG.
Wahi a kahi pilina mana-law, ua hoʻoholo ʻo Jared Kaplan o OpenAI a me nā hoa hana i ka makahiki 2020 i ka wā e hoʻonui ai ka hoʻolālā kālā e hoʻonui nui ʻia i ka hoʻonui ʻana i ka helu o nā ʻāpana, hoʻomaikaʻi ka hana i ka nui. ʻO Google, Nvidia, Microsoft, OpenAI, DeepMind, a me nā hui hoʻohālike ʻōlelo ʻē aʻe i mālama pono i nā lula.
Ua hōʻike ʻo Altman ʻaʻole lākou e noʻonoʻo hou i ke kūkulu ʻana i nā hiʻohiʻona nui, akā i ka hoʻonui ʻana i ka hana o nā hiʻohiʻona liʻiliʻi.
ʻO nā mea noiʻi OpenAI nā mea kākoʻo mua o ka scaling hypothesis, akā ua ʻike paha lākou e hiki ke alakaʻi i nā ala ʻē aʻe i ʻike ʻole ʻia ma mua. ʻAʻole ʻoi aku ka nui o GPT-4 ma mua o GPT-3 no kēia mau kumu.
E kau ʻo OpenAI i ka manaʻo nui i nā mea ʻē aʻe, e like me ka ʻikepili, algorithms, parameterization, a me ka alignment, kahi e hiki ai ke hoʻohua koke i nā pono nui. Pono mākou e kali a ʻike i ka mea hiki ke hana i kahi hoʻohālike me nā ʻāpana 100T.
Manuahi Manuahi:
- Nui o ke kŘkohu: E ʻoi aku ka nui o ka GPT-4 ma mua o ka GPT-3, akā ʻaʻole i ka nui (MT-NLG 530B a me PaLM 540B). E ʻike ʻole ʻia ka nui o ke kumu hoʻohālike.
- ʻO ka maikaʻi: E hoʻohana ʻo GPT-4 i nā kumuwaiwai ʻoi aku ma mua o GPT-3. E hoʻokō ʻo ia i nā ʻike maikaʻi hou i ka parameterization (optimal hyperparameters) a me nā ʻano scaling (nui ka nui o nā hōʻailona hoʻomaʻamaʻa e like me ka nui o ke kumu hoʻohālike).
- Multimodality: Hiki i ka GPT-4 ke hoʻouna a loaʻa i nā memo kikokikona (ʻaʻole multimodal). Ke ʻimi nei ʻo OpenAI e koi i nā ʻōlelo hoʻohālike i ko lākou palena ma mua o ka hoʻololi ʻana i nā hiʻohiʻona multimodal e like me DALE 2, ka mea a lākou e wānana e ʻoi aku ma mua o nā ʻōnaehana unimodal.
- Sparity: ʻO GPT-4, e like me kona mau mua GPT-2 a me GPT-3, e lilo i kumu hoʻohālike paʻa (e hoʻohana ʻia nā ʻāpana āpau no ka hana ʻana i nā mea i hāʻawi ʻia). I ka wā e hiki mai ana, e lilo ka sparsity i mea nui.
- hoʻopololei: E hoʻokokoke mai ʻo GPT-4 iā mākou ma mua o GPT-3. E kau i ka mea i aʻo ʻia mai InstructGPT, i kūkulu ʻia me ka hoʻokomo kanaka. Eia nō naʻe, ʻoi aku ka lōʻihi o ka convergence AI, a pono e nānā pono ʻia nā hana ma mua o ka hoʻonui.
Panina
Naʻauao Laulā. He pahuhopu nui ia, akā ke hana nei nā mea hoʻomohala OpenAI e hoʻokō. ʻO ka pahuhopu o AGI, ʻo ia ka hana ʻana i kumu hoʻohālike a i ʻole "agent" hiki ke hoʻomaopopo a hana i kekahi hana i hiki i ke kanaka.
ʻO GPT-4 paha ka ʻanuʻu aʻe e hoʻokō ai i kēia pahuhopu, a ua like ia me kahi mea mai kahi kiʻiʻoniʻoni ʻepekema. Hiki paha iā ʻoe ke noʻonoʻo i ka ʻoiaʻiʻo o ka loaʻa ʻana o AGI.
E paʻi mākou i kēia milestone e 2029, e like me Ray Kurzweil, ka Luna Hoʻokele o Google. Me kēia i ka noʻonoʻo, e nānā hohonu kākou i ka GPT-4 a me nā ramifications o kēia kumu hoʻohālike i ko mākou hoʻokokoke ʻana i ka AGI (Artificial General Intelligence).
Waiho i ka Reply