Bab lan Paragraf[Singidaken][Tampilake]
GPT-3, jaringan saraf gedhe saiki, diterbitake ing Mei 2020 dening OpenAI, wiwitan AI sing diadegake bebarengan dening Elon Musk lan Sam Altman. GPT-3 minangka model basa canggih kanthi 175 milyar paramèter dibandhingake karo 1,5 milyar paramèter ing GPT-2 sadurungé.
GPT-3 ngungguli model NLG Turing Microsoft (Turing Natural Language Generation), sing sadurunge nyekel rekor jaringan saraf paling gedhe kanthi 17 milyar parameter.
Model basa wis dipuji, dikritik, lan malah ditliti; uga wis ngasilake panggunaan anyar lan nyenengake. Lan saiki ana laporan yen GPT-4, edisi sabanjure OpenAI model basa, pancen bakal teka.
Sampeyan wis teka ing situs sing bener yen sampeyan pengin sinau luwih lengkap babagan GPT-4. Kita bakal nliti GPT-4 kanthi jero ing artikel iki, kalebu paramèter, kepiye dibandhingake karo model liyane, lan liya-liyane.
Dadi, Apa GPT-4?
Kanggo ngerti ruang lingkup GPT-4, kita kudu ngerti GPT-3, prekursore. GPT-3 (Generative Pre-trained Transformer, generasi katelu) minangka alat ngasilake konten otonom.
Pangguna ngetik data menyang a learning machine model, kang salajengipun bisa gawé jumlah massive saka nulis cocog kanggo nanggepi, miturut OpenAI. GPT-4 bakal luwih apik nalika mbukak akeh tugas ing sawetara kahanan - jinis learning machine - nggawa asil sing luwih cedhak karo manungsa.
GPT-3 biaya atusan yuta pounds kanggo mbangun, nanging GPT-4 diprediksi bakal biaya Ngartekno luwih amarga bakal limang atus kaping luwih ing skala. Kanggo nyelehake iki ing perspektif,
GPT-4 bisa uga nduweni karakteristik kaya sinapsis ing otak. GPT-4 utamane bakal nggunakake cara sing padha karo GPT-3, mula tinimbang dadi paradigma kabisat, GPT-4 bakal nggedhekake apa sing ditindakake GPT-3 saiki - nanging kanthi kemampuan inferensi sing luwih gedhe.
GPT-3 ngidini pangguna ngetik basa alami kanggo tujuan praktis, nanging isih butuh keahlian kanggo ngrancang pituduh sing bakal ngasilake asil sing apik. GPT-4 bakal luwih apik kanggo prédhiksi tujuan pangguna.
Apa sing bakal dadi paramèter GPT-4?
Sanajan minangka salah sawijining kemajuan AI sing paling ditunggu-tunggu, ora ana sing ngerti babagan GPT-4: bakal katon kaya apa, karakteristik apa sing bakal diduweni, lan kekuwatan apa sing bakal diduweni.
Taun kepungkur, Altman nindakake Q&A lan ngumumake sawetara rincian babagan ambisi OpenAI kanggo GPT-4. Ora bakal luwih gedhe tinimbang GPT-3, miturut Altman. GPT-4 ora mungkin sing paling akeh digunakake model basa. Senajan model bakal ageng ing comparison kanggo generasi sadurungé saka jaringan saraf, ukurane ora bakal dadi ciri sing mbedakake. GPT-3 lan Gopher minangka calon sing paling bisa dipercaya (175B-280B).
Nvidia lan Microsoft Megatron-Turing NLG nyekel rekor kanggo jaringan syaraf paling padhet parameter ing 530B - kaping telu saka GPT-3 - nganti bubar nalika Google PaLM njupuk ing 540B. Kaget, sawetara model sing luwih sithik ngluwihi MT-NLG.
Miturut sambungan power-law, Jared Kaplan saka OpenAI lan kanca-kancane nemtokake ing 2020 yen nalika ngolah kenaikan anggaran biasane digunakake kanggo nambah jumlah paramèter, kinerja saya mundhak paling apik. Google, Nvidia, Microsoft, OpenAI, DeepMind, lan perusahaan model basa liyane manut karo peraturan kasebut.
Altman nedahake yen dheweke ora fokus maneh kanggo mbangun model gedhe, nanging ngoptimalake kinerja model cilik.
Peneliti OpenAI minangka panyengkuyung awal hipotesis skala, nanging bisa uga nemokake manawa dalan tambahan sing durung ditemokake sadurunge bisa nyebabake model sing unggul. GPT-4 ora bakal luwih gedhe tinimbang GPT-3 amarga alasan kasebut.
OpenAI bakal luwih fokus ing aspek liyane, kayata data, algoritma, parameterisasi, lan keselarasan, sing duweni potensi ngasilake keuntungan sing luwih cepet. Kita kudu ngenteni lan ndeleng apa sing bisa ditindakake model kanthi paramèter 100T.
Tombol Tombol:
- Ukuran model: GPT-4 bakal luwih gedhe tinimbang GPT-3, nanging ora akeh (MT-NLG 530B lan PaLM 540B). Ukuran model bakal dadi ora biasa.
- Optimal: GPT-4 bakal nggunakake sumber daya luwih saka GPT-3. Bakal ngetrapake wawasan optimalitas anyar babagan parameterisasi (hiperparameter optimal) lan metode skala (jumlah token latihan penting kaya ukuran model).
- Multimodalitas: GPT-4 mung bakal bisa ngirim lan nampa pesen teks (ora multimodal). OpenAI ngupaya nyurung model basa nganti watesan sadurunge pindhah menyang model multimodal kaya DALEM 2, sing padha prédhiksi pungkasane bakal ngluwihi sistem unimodal.
- Sparsity: GPT-4, kaya sing sadurunge GPT-2 lan GPT-3, bakal dadi model sing padhet (kabeh paramèter bakal digunakake kanggo ngolah input apa wae). Ing mangsa ngarep, sparsity bakal dadi luwih penting.
- Alignment: GPT-4 bakal nyedhaki kita luwih cedhak tinimbang GPT-3. Iku bakal sijine apa wis sinau saka InstructGPT, kang dikembangaké karo input manungsa. Nanging, konvergensi AI isih adoh, lan upaya kudu ditaksir kanthi ati-ati tinimbang digedhekake.
kesimpulan
Artificial General Intelligence. Iki minangka tujuan gedhe, nanging pangembang OpenAI ngupayakake. Tujuan AGI yaiku nggawe model utawa "agen" sing bisa ngerteni lan nindakake kegiatan apa wae sing bisa ditindakake dening wong.
GPT-4 bisa dadi langkah sabanjure kanggo nggayuh tujuan kasebut, lan kayane kaya film fiksi ilmiah. Sampeyan bisa uga kepingin weruh carane realistis kanggo entuk AGI.
Kita bakal nggayuh tonggak sejarah iki ing taun 2029, miturut Ray Kurzweil, Direktur Teknik Google. Kanthi pikiran iki, ayo goleki sing luwih jero babagan GPT-4 lan akibat saka model iki nalika kita nyedhaki AGI (Kecerdasan Umum Artificial).
Ninggalake a Reply