Jadual Kandungan[Sembunyi][Tunjukkan]
GPT-3, rangkaian saraf besar pada masa ini, diterbitkan pada Mei 2020 oleh OpenAI, permulaan AI yang diasaskan bersama oleh Elon Musk dan Sam Altman. GPT-3 ialah model bahasa canggih dengan 175 bilion parameter berbanding 1,5 bilion parameter dalam GPT-2 pendahulunya.
GPT-3 mengatasi model NLG Turing Microsoft (Turing Natural Language Generation), yang sebelum ini memegang rekod rangkaian saraf terbesar dengan 17 bilion parameter.
Model bahasa telah dipuji, dikritik, malah diteliti; ia juga telah melahirkan kegunaan baru dan menarik. Dan kini terdapat laporan bahawa GPT-4, edisi seterusnya OpenAI model bahasa, memang akan datang tidak lama lagi.
Anda telah tiba di tapak yang betul jika anda ingin mengetahui lebih lanjut tentang GPT-4. Kami akan melihat GPT-4 secara mendalam dalam artikel ini, meliputi parameternya, cara ia dibandingkan dengan model lain dan banyak lagi.
Jadi, Apakah itu GPT-4?
Untuk memahami skop GPT-4, kita mesti terlebih dahulu memahami GPT-3, pendahulunya. GPT-3 (Generative Pra-trained Transformer, generasi ketiga) ialah alat penjana kandungan autonomi.
Pengguna memasukkan data ke dalam a pembelajaran mesin model, yang kemudiannya boleh menghasilkan sejumlah besar penulisan yang relevan sebagai tindak balas, menurut OpenAI. GPT-4 akan menjadi lebih baik dalam berbilang tugas dalam keadaan beberapa tangkapan — sejenis pembelajaran mesin – membawa hasil lebih dekat kepada manusia.
GPT-3 menelan kos ratusan juta paun untuk dibina, tetapi GPT-4 diramalkan kosnya lebih tinggi kerana ia akan menjadi lima ratus kali ganda dalam skala. Untuk meletakkan ini dalam perspektif,
GPT-4 mungkin mempunyai banyak ciri seperti sinaps dalam otak. GPT-4 terutamanya akan menggunakan kaedah yang sama seperti GPT-3, justeru daripada menjadi lonjakan paradigma, GPT-4 akan mengembangkan apa yang GPT-3 capai pada masa ini — tetapi dengan keupayaan inferens yang jauh lebih besar.
GPT-3 membenarkan pengguna memasukkan bahasa semula jadi untuk tujuan praktikal, tetapi ia masih memerlukan beberapa kepakaran untuk mereka bentuk gesaan yang akan menghasilkan hasil yang baik. GPT-4 akan menjadi lebih baik dalam meramalkan niat pengguna.
Apakah parameter GPT-4?
Walaupun merupakan salah satu kemajuan AI yang paling ditunggu-tunggu, tiada apa yang diketahui tentang GPT-4: bagaimana rupanya, apakah ciri yang akan ada padanya, dan apakah kuasa yang akan dimilikinya.
Tahun lepas, Altman melakukan Soal Jawab dan mendedahkan beberapa butiran tentang cita-cita OpenAI untuk GPT-4. Ia tidak akan lebih besar daripada GPT-3, menurut Altman. GPT-4 tidak mungkin menjadi yang paling banyak digunakan model bahasa. Walaupun model itu akan menjadi besar berbanding dengan generasi sebelumnya rangkaian saraf, saiznya tidak akan menjadi ciri yang membezakannya. GPT-3 dan Gopher adalah calon yang paling munasabah (175B-280B).
Nvidia dan Microsoft Megatron-Turing NLG memegang rekod untuk rangkaian saraf paling padat parameter pada 530B – tiga kali ganda GPT-3 – sehingga baru-baru ini apabila PaLM Google mengambilnya pada 540B. Yang menghairankan, sebilangan besar model yang lebih rendah mengatasi prestasi MT-NLG.
Menurut sambungan undang-undang kuasa, Jared Kaplan dari OpenAI dan rakan sekerja menentukan pada tahun 2020 bahawa apabila peningkatan belanjawan pemprosesan dibelanjakan kebanyakannya untuk meningkatkan bilangan parameter, prestasi bertambah baik. Google, Nvidia, Microsoft, OpenAI, DeepMind dan syarikat pemodelan bahasa yang lain mematuhi peraturan tersebut.
Altman menunjukkan bahawa mereka tidak lagi menumpukan pada membina model besar-besaran, tetapi lebih kepada memaksimumkan prestasi model yang lebih kecil.
Penyelidik OpenAI adalah penyokong awal hipotesis penskalaan, tetapi mereka mungkin mendapati bahawa laluan tambahan yang belum ditemui sebelum ini mungkin membawa kepada model yang unggul. GPT-4 tidak akan lebih besar daripada GPT-3 atas sebab ini.
OpenAI akan memberikan tumpuan yang lebih besar pada aspek lain, seperti data, algoritma, parameterisasi dan penjajaran, yang berpotensi untuk menghasilkan faedah yang ketara dengan lebih cepat. Kita perlu menunggu dan melihat apa yang boleh dilakukan oleh model dengan parameter 100T.
Perkara utama:
- Saiz model: GPT-4 akan lebih besar daripada GPT-3, tetapi tidak banyak (MT-NLG 530B dan PaLM 540B). Saiz model tidak akan ketara.
- Keoptimuman: GPT-4 akan menggunakan lebih banyak sumber daripada GPT-3. Ia akan melaksanakan cerapan keoptimuman baharu ke dalam parameterisasi (hiperparameter optimum) dan kaedah penskalaan (bilangan token latihan adalah sama pentingnya dengan saiz model).
- Multimodaliti: GPT-4 hanya akan dapat menghantar dan menerima mesej teks (bukan multimodal). OpenAI berusaha untuk menolak model bahasa ke hadnya sebelum beralih kepada model multimodal seperti SLAB 2, yang mereka ramalkan akhirnya akan mengatasi sistem unimodal.
- Keterlaluan: GPT-4, seperti pendahulunya GPT-2 dan GPT-3, akan menjadi model padat (semua parameter akan digunakan untuk memproses sebarang input yang diberikan). Pada masa hadapan, kesederhanaan akan menjadi lebih penting.
- Penjajaran: GPT-4 akan mendekati kita lebih dekat daripada GPT-3. Ia akan meletakkan apa yang telah dipelajari daripada InstructGPT, yang dibangunkan dengan input manusia. Namun, penumpuan AI masih jauh, dan usaha harus dinilai dengan teliti dan bukannya dibesar-besarkan.
Kesimpulan
Kecerdasan Am Buatan. Ini adalah objektif yang besar, tetapi pembangun OpenAI sedang berusaha untuk mencapainya. Matlamat AGI adalah untuk mencipta model atau "ejen" yang mampu memahami dan melakukan sebarang aktiviti yang boleh dilakukan oleh seseorang.
GPT-4 mungkin merupakan langkah seterusnya dalam mencapai matlamat ini, dan ia kelihatan seperti sesuatu daripada filem fiksyen sains. Anda mungkin tertanya-tanya betapa realistiknya untuk mencapai AGI.
Kami akan mencapai kejayaan ini menjelang 2029, menurut Ray Kurzweil, Pengarah Kejuruteraan Google. Dengan mengambil kira perkara ini, mari kita lihat dengan lebih mendalam tentang GPT-4 dan kesan model ini apabila kita semakin hampir dengan AGI (Kecerdasan Am Buatan).
Sila tinggalkan balasan anda