Tebulu ọdịnaya[Zoo][Gosi]
GPT-3, nnukwu netwọkụ akwara ozi nke oge a, ka ebipụtara na Mee 2020 site na OpenAI, mmalite AI nke Elon Musk na Sam Altman kwadoro. GPT-3 bụ ụdị asụsụ nke nwere oke ijeri 175 ma e jiri ya tụnyere ijeri 1,5 na onye bu ya ụzọ GPT-2.
GPT-3 karịrị nke Microsoft's NLG Turing model (Turing Natural Language Generation), bụ nke jiburu netwọọdụ akwara ozi kacha nwee ijeri iri na asaa.
Ụdị asụsụ a etoola, katọọ ya na ọbụna nyochaa ya; o meela ihe ọhụrụ na-akpali akpali. Ma ugbu a enwere akụkọ na GPT-4, mbipụta ọzọ nke OpenAI ụdị asụsụ, ga-abịa n'ezie.
Ị bịarutela saịtị ziri ezi ma ọ bụrụ na ịchọrọ ịmatakwu gbasara GPT-4. Anyị ga-eleba anya na GPT-4 n'ime omimi n'isiokwu a, na-ekpuchi paramita ya, otu o si atụnyere ụdị ndị ọzọ, na ndị ọzọ.
Yabụ, gịnị bụ GPT-4?
Iji ghọta oke GPT-4, anyị ga-ebu ụzọ ghọta GPT-3, ihe mmalite ya. GPT-3 (Generative Pre-trained Transformer, ọgbọ nke atọ) bụ ngwá ọrụ na-emepụta ọdịnaya nke kwụụrụ onwe ya.
Ndị ọrụ na-etinye data n'ime a ngwa igwe ihe nlereanya, nke nwere ike mechaa mepụta nnukwu ederede dị mkpa na nzaghachi, dị ka OpenAI si kwuo. GPT-4 ga-aka mma nke ukwuu na multitasking n'ọnọdụ ole na ole - ụdị ngwa igwe - na-eme ka nsonaazụ ya dịkwuo nso na nke ụmụ mmadụ.
GPT-3 na-efu ọtụtụ narị nde pound iji wuo ya, mana a na-atụ anya na GPT-4 ga-eri karịa n'ihi na ọ ga-adị narị ugboro ise karịa n'ọkwa. Iji tinye nke a n'echiche,
GPT-4 nwere ike inwe ọtụtụ njirimara dị ka synapses na ụbụrụ. GPT-4 ga-ejikarị otu ụzọ ahụ dị ka GPT-3, yabụ kama ịbụ ihe na-awụli elu, GPT-4 ga-agbasawanye n'ihe GPT-3 na-arụ ugbu a - mana na-enwe ike itinye uche nke ukwuu.
GPT-3 nyere ndị ọrụ ohere ịbanye asụsụ okike maka ebumnuche bara uru, mana ọ ka chọrọ ụfọdụ nka iji chepụta ngwa ngwa nke ga-arụpụta ezigbo nsonaazụ. GPT-4 ga-aka nke ọma n'ịkọ ebumnobi nke ndị ọrụ.
Kedu ihe ga-abụ parampat GPT-4?
N'agbanyeghị na ọ bụ otu n'ime ọganihu AI ndị a na-echere, ọ dịghị ihe a maara banyere GPT-4: ihe ọ ga-adị ka, àgwà ndị ọ ga-enwe, na ike ndị ọ ga-enwe.
N'afọ gara aga, Altman mere Q&A wee kpughee nkọwa ole na ole gbasara ebumnuche OpenAI maka GPT-4. Ọ gaghị abụ ibu karịa GPT-3, ka Altman si kwuo. O yighị ka GPT-4 ga-abụ nke a na-ejikarị eme ihe ụdị asụsụ. Ọ bụ ezie na ihe nlereanya ahụ ga-abụ nnukwu ma e jiri ya tụnyere ọgbọ gara aga nke neural netwọk, nha ya agaghị abụ ihe e ji mara ya. GPT-3 na Gopher bụ ndị na-eme ntuli aka kacha mma (175B-280B).
Nvidia na Microsoft's Megatron-Turing NLG nwere ndekọ maka netwọkụ neural kacha njọ paramita na 530B - ugboro atọ nke GPT-3 - ruo n'oge na-adịbeghị anya mgbe Google's PaLM were ya na 540B. N'ụzọ dị ịtụnanya, ogbugbu nke ụdị dị nta karịa MT-NLG.
Dịka njikọ iwu siri dị, OpenAI's Jared Kaplan na ndị ọrụ ibe kpebisiri ike na 2020 na mgbe a na-emefu mmefu mmefu ego ka ukwuu n'ịbawanye ọnụọgụ nke paramita, arụmọrụ na-eme nke ọma. Google, Nvidia, Microsoft, OpenAI, DeepMind, na ụlọ ọrụ ndị ọzọ na-emepụta asụsụ ji nrubeisi soro ụkpụrụ ahụ.
Altman gosiri na ha anaghị elekwasị anya n'ịrụ nnukwu ụdị, kama n'ịkwalite arụmọrụ nke obere ụdị.
Ndị na-eme nchọpụta OpenAI bụ ndị na-akwado mmalite nke nleba anya, mana ha nwere ike achọpụtala na ụzọ ndị ọzọ achọpụtaghị na mbụ nwere ike iduga n'ụdị dị elu. GPT-4 agaghị adị nke ukwuu karịa GPT-3 maka ihe ndị a.
OpenAI ga-etinyekwu uche na akụkụ ndị ọzọ, dị ka data, algọridim, parameterization, na nhazi, nke nwere ike iweta uru dị ukwuu ngwa ngwa. Anyị ga-echere wee hụ ihe ụdị nwere parampat 100T nwere ike ime.
Isi ihe:
- Ogo nke ihe nlereanya: GPT-4 ga-adị ukwuu karịa GPT-3, ma ọ bụghị nke ukwuu (MT-NLG 530B na PaLM 540B). Ogo ihe nlereanya ahụ ga-abụ ihe a na-apụghị ịrịba ama.
- Nke kacha mma: GPT-4 ga-eji ihe onwunwe karịa GPT-3. Ọ ga-emejuputa nghọta ọhụrụ kachasị mma n'ime parameterization (hyperparameters kacha mma) na usoro mkpali (ọnụọgụ nke akara ọzụzụ dị mkpa dị ka nha ụdị).
- Multimodality: GPT-4 ga-enwe ike izipu ma nweta ozi ederede (ọ bụghị multimodal). OpenAI na-achọ ịkwanye ụdị asụsụ na oke ha tupu ha agafee na ụdị multimodal dị ka DALLE 2, nke ha na-ebu amụma na ọ ga-emecha karịa sistemu unimodal.
- Sparsity: GPT-4, dị ka ndị bu ya ụzọ GPT-2 na GPT-3, ga-abụ a ok nlereanya (niile parameters ga-eji hazie ọ bụla e nyere ntinye). N'ọdịnihu, sparity ga-adị mkpa karị.
- itinye n'ọnọdụ: GPT-4 ga-abịakwute anyị nso karịa GPT-3. Ọ ga-etinye ihe ọ mụtara na InstructGPT, bụ nke ejiri ntinye mmadụ mepụta. N'agbanyeghị nke ahụ, njikọ AI dị anya, na ekwesịrị iji nlezianya nyochaa mgbalị kama ikwubiga okwu ókè.
mmechi
Artificial General ọgụgụ isi. Ọ bụ nnukwu ebumnobi, mana ndị mmepe OpenAI na-arụ ọrụ iji nweta ya. Ebumnuche nke AGI bụ ịmepụta ihe nlereanya ma ọ bụ "onye nnọchiteanya" nke nwere ike ịghọta na ime ihe ọ bụla mmadụ nwere ike ime.
GPT-4 nwere ike ịbụ nzọụkwụ ọzọ n'imezu ebumnuche a, ọ dịkwa ka ihe sitere na ihe nkiri sayensị sayensị. Ị nwere ike ịnọ na-eche ka ọ bụ ihe ezi uche dị na ya inweta AGI.
Anyị ga-erute ihe dị ịrịba ama a ka ọ na-erule 2029, ka Ray Kurzweil, onye isi injinia Google siri kwuo. N'iburu nke a n'uche, ka anyị lebakwuo anya na GPT-4 na ramifications nke ihe nlereanya a ka anyị na-abịaru nso AGI (Artificial General Intelligence).
Nkume a-aza