Mundarija[Yashirish][Show]
GPT-3, hozirgi yirik neyron tarmog'i 2020 yil may oyida nashr etilgan OpenAI, AI startapi Ilon Mask va Sem Altman tomonidan asos solingan. GPT-3 o'zidan oldingi GPT-175 dagi 1,5 milliard parametrga nisbatan 2 milliard parametrga ega zamonaviy til modelidir.
GPT-3 Microsoftning NLG Turing modelidan (Turing Natural Language Generation) ortda qoldi, u avvalroq 17 milliard parametr bilan eng katta neyron tarmoq boʻyicha rekord oʻrnatgan edi.
Til modeli maqtovga sazovor bo'ldi, tanqid qilindi va hatto tekshirildi; u shuningdek, yangi va qiziqarli foydalanishni keltirib chiqardi. Va endi GPT-4, OpenAI ning navbatdagi nashri haqida xabarlar bor til modeli, albatta tez orada keladi.
Agar siz GPT-4 haqida ko'proq bilmoqchi bo'lsangiz, to'g'ri saytga keldingiz. Biz ushbu maqolada GPT-4 ni batafsil ko'rib chiqamiz, uning parametrlarini, uning boshqa modellar bilan solishtirilishini va boshqalarni ko'rib chiqamiz.
Xo'sh, GPT-4 nima?
GPT-4 qamrovini tushunish uchun avvalo GPT-3 ni, uning kashshofini tushunishimiz kerak. GPT-3 (Generative Pre-trained Transformer, uchinchi avlod) avtonom kontent yaratish vositasidir.
Foydalanuvchilar ma'lumotlarni a ga kiritadilar kompyuterni o'rganish OpenAI ma'lumotlariga ko'ra, keyinchalik javob sifatida katta hajmdagi tegishli yozuvlarni ishlab chiqishi mumkin bo'lgan model. GPT-4 bir necha marta otish sharoitida ko'p vazifani bajarishda sezilarli darajada yaxshi bo'ladi - bir turdagi kompyuterni o'rganish - natijalarni odamlarnikiga yanada yaqinlashtirish.
GPT-3 qurilishi yuzlab million funt sterlingga tushadi, ammo GPT-4 ancha qimmatga tushishi taxmin qilinmoqda, chunki u miqyosda besh yuz baravar kattaroq bo'ladi. Buni nuqtai nazarga solish uchun,
GPT-4 miyadagi sinapslar kabi ko'plab xususiyatlarga ega bo'lishi mumkin. GPT-4 asosan GPT-3 bilan bir xil usullardan foydalanadi, shuning uchun GPT-4 paradigma sakrashi emas, balki hozirda GPT-3 nimaga erishayotganini kengaytiradi - lekin sezilarli darajada kattaroq xulosa chiqarish qobiliyatiga ega.
GPT-3 foydalanuvchilarga amaliy maqsadlarda tabiiy tilni kiritish imkonini berdi, biroq u hali ham yaxshi natijalar beradigan taklifni ishlab chiqish uchun biroz tajribaga muhtoj edi. GPT-4 foydalanuvchilarning niyatlarini bashorat qilishda ancha yaxshi bo'ladi.
GPT-4 parametrlari qanday bo'ladi?
AIning eng kutilgan yutuqlaridan biri bo'lishiga qaramay, GPT-4 haqida hech narsa ma'lum emas: u qanday ko'rinishga ega bo'ladi, qanday xususiyatlarga ega bo'ladi va qanday kuchlarga ega bo'ladi.
O'tgan yili Altman savol-javob o'tkazdi va OpenAI-ning GPT-4 uchun ambitsiyalari haqida bir nechta tafsilotlarni oshkor qildi. Altmanning so'zlariga ko'ra, bu GPT-3 dan katta bo'lmaydi. GPT-4 eng keng tarqalgan bo'lishi dargumon til modeli. Garchi model oldingi avlodlarga nisbatan juda katta bo'ladi neyron tarmoqlari, uning o'lchami uning ajralib turadigan xususiyati bo'lmaydi. GPT-3 va Gopher eng ishonchli nomzodlardir (175B-280B).
Nvidia va Microsoft kompaniyasining Megatron-Turing NLG kompaniyalari bu borada rekord o'rnatdilar eng zich neyron tarmoq 530B da parametrlar - GPT-3 dan uch baravar ko'p - yaqin vaqtgacha Google PaLM uni 540B da qabul qilgan. Ajablanarlisi shundaki, ko'plab kichikroq modellar MT-NLG-dan ustun keldi.
Quvvat qonunchiligiga ko'ra, OpenAI xodimi Jared Kaplan va uning hamkasblari 2020 yilda byudjet o'sishini qayta ishlashda asosan parametrlar sonini ko'paytirishga sarflansa, unumdorlik eng yuqori darajada yaxshilanishini aniqlashdi. Google, Nvidia, Microsoft, OpenAI, DeepMind va boshqa til modellashtirish kompaniyalari qoidalarga itoatkorlik bilan amal qilishdi.
Altmanning ta'kidlashicha, ular endi katta modellarni yaratishga emas, balki kichikroq modellarning ishlashini maksimal darajada oshirishga e'tibor qaratmoqdalar.
OpenAI tadqiqotchilari masshtablash gipotezasining dastlabki tarafdorlari edilar, ammo ular qo'shimcha, ilgari ochilmagan yo'llar yuqori modellarga olib kelishi mumkinligini aniqlagan bo'lishi mumkin. Ushbu sabablarga ko'ra GPT-4 GPT-3 dan sezilarli darajada katta bo'lmaydi.
OpenAI tezroq sezilarli foyda keltirishi mumkin bo'lgan ma'lumotlar, algoritmlar, parametrlashtirish va moslashtirish kabi boshqa jihatlarga ko'proq e'tibor beradi. Biz kutishimiz va 100T parametrli model nima qila olishini ko'rishimiz kerak.
Kalit nuqtalari:
- Modelning o'lchami: GPT-4 GPT-3 dan kattaroq bo'ladi, lekin unchalik katta emas (MT-NLG 530B va PaLM 540B). Modelning o'lchami ahamiyatsiz bo'ladi.
- Optimallik: GPT-4 GPT-3ga qaraganda ko'proq resurslardan foydalanadi. U parametrlash (optimal giperparametrlar) va masshtablash usullari (o'quv tokenlari soni model o'lchami kabi muhim) bo'yicha yangi optimallik tushunchalarini amalga oshiradi.
- Multimodallik: GPT-4 faqat matnli xabarlarni yuborish va qabul qilish imkoniyatiga ega bo'ladi (multimodal emas). OpenAI kabi multimodal modellarga o'tishdan oldin til modellarini chegaralariga olib chiqishga intiladi SLAB 2, ular bashorat qilishlaricha, oxir-oqibat unimodal tizimlardan oshib ketadi.
- Siqilish: GPT-4, o'zidan oldingi GPT-2 va GPT-3 singari, zich model bo'ladi (barcha parametrlar har qanday berilgan kirishni qayta ishlash uchun ishlatiladi). Kelajakda siyraklik muhimroq bo'ladi.
- Alignment: GPT-4 bizga GPT-3ga qaraganda yaqinroq yaqinlashadi. U inson kiritishi bilan ishlab chiqilgan InstructGPT-dan o'rganganlarini qo'yadi. Shunday bo'lsa-da, AI konvergentsiyasi uzoq yo'l va harakatlarni bo'rttirib ko'rsatishdan ko'ra ehtiyotkorlik bilan baholash kerak.
Xulosa
Sun'iy umumiy intellekt. Bu katta maqsad, lekin OpenAI ishlab chiquvchilari bunga erishish uchun harakat qilishmoqda. AGI ning maqsadi inson tushuna oladigan va har qanday faoliyatni amalga oshirishga qodir bo'lgan model yoki "agent" yaratishdir.
GPT-4 ushbu maqsadga erishishda keyingi qadam bo'lishi mumkin va bu ilmiy fantastika filmidagi narsaga o'xshaydi. AGI ga erishish qanchalik real ekanligiga hayron bo'lishingiz mumkin.
Google muhandislik bo'yicha direktori Rey Kurtsveylning so'zlariga ko'ra, biz 2029 yilga kelib bu bosqichga erishamiz. Buni yodda tutgan holda, keling, GPT-4 va ushbu modelning oqibatlarini AGI (sun'iy umumiy intellekt) ga yaqinlashganda chuqurroq ko'rib chiqaylik.
Leave a Reply