Daptar eusi[Sumputkeun][Témbongkeun]
GPT-3, jaringan saraf ageung ayeuna, diterbitkeun dina Méi 2020 ku OpenAI, ngamimitian AI anu diadegkeun ku Elon Musk sareng Sam Altman. GPT-3 mangrupikeun modél basa anu canggih kalayan 175 milyar parameter dibandingkeun sareng 1,5 milyar parameter dina miheulaanna GPT-2.
GPT-3 outperformed model NLG Turing Microsoft (Turing Natural Language Generation), nu saméméhna kungsi nyekel catetan pikeun jaringan saraf pangbadagna kalayan 17 milyar parameter.
Modél basa geus dipuji, dikritik, malah ditalungtik; eta oge geus spawned kagunaan anyar jeung intriguing. Sareng ayeuna aya laporan yén GPT-4, édisi OpenAI salajengna modél basa, memang bakal datang pas.
Anjeun parantos dugi ka situs anu leres upami anjeun hoyong diajar langkung seueur ngeunaan GPT-4. Urang bakal kasampak di GPT-4 di-jero dina artikel ieu, ngawengku parameter na, kumaha eta ngabandingkeun kana model sejen, sareng nu sanesna.
Janten, Naon GPT-4?
Pikeun ngartos ruang lingkup GPT-4, urang kedah ngartos heula GPT-3, prékursorna. GPT-3 (Generative Pre-trained Transformer, generasi katilu) mangrupikeun alat anu ngahasilkeun kontén otonom.
Pamaké ngasupkeun data kana a learning mesin model, nu salajengna bisa ngahasilkeun jumlah masif ti tulisan relevan dina respon, nurutkeun OpenAI. GPT-4 bakal sacara signifikan langkung saé dina seueur tugas dina kaayaan sababaraha shot - jinis learning mesin - bringing hasilna malah ngadeukeutan ka jalma.
GPT-3 hargana ratusan juta pon pikeun ngawangun, tapi GPT-4 diprediksi hargana langkung ageung sabab skalana bakal lima ratus kali langkung ageung. Pikeun nempatkeun ieu dina sudut pandang,
GPT-4 tiasa gaduh saloba ciri sapertos sinapsis dina uteuk. GPT-4 utamana bakal ngagunakeun métode anu sarua sakumaha GPT-3, sahingga tinimbang keur kabisat paradigma, GPT-4 bakal ngalegaan naon GPT-3 ayeuna accomplishes - tapi kalawan kamampuhan inferensi nyata gede.
GPT-3 ngamungkinkeun pamaké pikeun nuliskeun basa alam keur kaperluan praktis, tapi masih diperlukeun sababaraha kaahlian pikeun ngarancang hiji ajakan nu bakal ngahasilkeun hasil alus. GPT-4 bakal langkung saé pikeun ngaramalkeun niat pangguna.
Naon bakal parameter GPT-4?
Sanaos janten salah sahiji kamajuan AI anu paling ditunggu-tunggu, teu aya anu dipikanyaho ngeunaan GPT-4: kumaha bakal katingalina, ciri naon anu bakal dipibanda, sareng kakuatan naon anu bakal aya.
Taun ka tukang, Altman ngalakukeun Q&A sareng ngungkabkeun sababaraha rinci ngeunaan ambisi OpenAI pikeun GPT-4. Éta moal langkung ageung tibatan GPT-3, numutkeun Altman. GPT-4 henteu sigana anu paling seueur dianggo modél basa. Sanajan model bakal badag di ngabandingkeun kana generasi saméméhna tina jaringan neural, ukuranana moal jadi ciri anu ngabédakeunana. GPT-3 sareng Gopher mangrupikeun calon anu paling masuk akal (175B-280B).
Nvidia sareng Microsoft Megatron-Turing NLG ngayakeun catetan pikeun jaringan saraf pangpadetna parameter dina 530B - tilu kali tina GPT-3 - nepi ka ayeuna nalika Google PaLM nyandak eta di 540B. Héran, sababaraha model anu langkung alit ngaunggulan MT-NLG.
Numutkeun kana sambungan hukum kakuatan, OpenAI's Jared Kaplan sareng rekan-rekan ditangtukeun dina taun 2020 yén nalika ngolah paningkatan anggaran diséépkeun biasana pikeun ningkatkeun jumlah parameter, kinerja ningkat anu pangsaéna. Google, Nvidia, Microsoft, OpenAI, DeepMind, sareng perusahaan-perusahaan modél basa anu sanés taat kana peraturan.
Altman nunjukkeun yén aranjeunna henteu deui konsentrasi dina ngawangun modél masif, tapi pikeun maksimalkeun kinerja modél anu langkung alit.
Panaliti OpenAI mangrupikeun proponén awal hipotésis skala, tapi aranjeunna tiasa mendakan yén tambahan, jalur anu teu acan kapendak sateuacana tiasa ngakibatkeun modél anu langkung unggul. GPT-4 moal langkung ageung tibatan GPT-3 kusabab alesan ieu.
OpenAI bakal nempatkeun fokus anu langkung ageung kana aspék sanés, sapertos data, algoritma, parameterisasi, sareng alignment, anu berpotensi ngahasilkeun kauntungan anu langkung gancang. Urang kedah ngantosan sareng ningali naon modél anu tiasa dilakukeun ku parameter 100T.
Nunjuk konci:
- Ukuran modél: GPT-4 bakal leuwih badag batan GPT-3, tapi teu loba (MT-NLG 530B na PaLM 540B). Ukuran model bakal unremarkable.
- Optimality: GPT-4 bakal ngagunakeun leuwih sumberdaya ti GPT-3. Bakal nerapkeun wawasan optimalitas anyar kana parameterization (hyperparameters optimal) jeung métode skala (Jumlah tokens latihan téh penting salaku ukuran model).
- Multimodalitas: GPT-4 ngan bakal bisa ngirim sareng nampa talatah téks (teu multimodal). OpenAI narékahan pikeun nyorong modél basa ka watesna sateuacan ngalih ka modél multimodal sapertos DALEH 2, nu maranéhna ngaduga antukna bakal ngaleuwihan sistem unimodal.
- Kasempetan: GPT-4, kawas miheulaan na GPT-2 na GPT-3, bakal model padet (sadayana parameter bakal dipaké pikeun ngolah sagala input dibikeun). Dina mangsa nu bakal datang, sparsity bakal jadi leuwih penting.
- alignment: GPT-4 bakal ngadeukeutan urang leuwih raket ti GPT-3. Éta bakal nempatkeun naon anu diajarkeun tina InstructGPT, anu dikembangkeun ku input manusa. Leungit, konvergénsi AI masih jauh, sareng usaha kedah ditaksir sacara saksama tinimbang kaleuleuwihi.
kacindekan
Kecerdasan Umum jieunan. Ieu mangrupikeun tujuan anu ageung, tapi pamekar OpenAI ngusahakeun pikeun ngahontal éta. Tujuan AGI nyaéta pikeun nyiptakeun modél atanapi "agén" anu tiasa ngartos sareng ngalakukeun kagiatan naon waé anu tiasa dilakukeun ku jalma.
GPT-4 tiasa janten léngkah salajengna pikeun ngahontal tujuan ieu, sareng sigana sapertos anu kaluar tina pilem fiksi ilmiah. Anjeun tiasa heran kumaha realistis pikeun ngahontal AGI.
Kami bakal ngahontal tonggak ieu ku 2029, numutkeun Ray Kurzweil, Diréktur Téknik Google. Kalayan dina pikiran ieu, hayu urang tingali langkung jero GPT-4 sareng akibat tina modél ieu nalika urang ngadeukeutan AGI (Artificial General Intelligence).
Leave a Reply