Мундариҷа[Пинҳон кардан][Намоиш]
GPT-3, шабакаи бузурги нейронии замон, дар моҳи майи соли 2020 аз ҷониби нашр шуд OpenAI, стартапи AI, ки аз ҷониби Илон Маск ва Сэм Олтман таъсис ёфтааст. GPT-3 модели муосири забони бо 175 миллиард параметр дар муқоиса бо 1,5 миллиард параметри пешгузаштаи GPT-2 мебошад.
GPT-3 аз модели Microsoft NLG Turing (Turing Natural Language Generation) бартарӣ дошт, ки қаблан рекорди бузургтарин шабакаи нейронӣ бо 17 миллиард параметр дошт.
Модели забонро таърифу тавсиф карданд, интиқод карданд ва ҳатто мавриди баррасӣ қарор доданд; он инчунин истифодаи нав ва ҷолибро ба вуҷуд овард. Ва ҳоло гузоришҳо мавҷуданд, ки GPT-4, нашри навбатии OpenAI модели забон, дар ҳақиқат ба зудӣ меояд.
Шумо ба сайти дуруст расидед, агар шумо хоҳед, ки дар бораи GPT-4 маълумоти бештар гиред. Мо GPT-4-ро дар ин мақола амиқ дида мебароем, ки параметрҳои он, чӣ гуна он бо дигар моделҳо муқоиса карда мешавад ва ғайра.
Пас, GPT-4 чист?
Барои фаҳмидани доираи GPT-4, мо аввал бояд GPT-3, пешгузаштаи онро бифаҳмем. GPT-3 (Generative Pre-trained Transformator, насли сеюм) як воситаи мустақили тавлидкунандаи мундариҷа мебошад.
Истифодабарандагон маълумотро ба a омӯзиши машқҳо Мувофиқи OpenAI, модели, ки баъдан метавонад миқдори зиёди навиштаҷоти дахлдорро дар посух тавлид кунад. GPT-4 дар бисёркорӣ дар шароити чандкарата ба таври назаррас беҳтар хоҳад буд - як намуди омӯзиши машқҳо — натицахоро ба натичахои одамон боз хам наздиктар мегардонад.
Барои сохтани GPT-3 садҳо миллион фунт арзиш дорад, аммо пешбинӣ шудааст, ки GPT-4 ба таври назаррас гаронтар хоҳад буд, зеро миқёси он панҷсад маротиба бузургтар хоҳад буд. Барои ба назар гирифтани ин,
GPT-4 метавонад ба монанди синапсҳо дар майна хусусиятҳои зиёд дошта бошад. GPT-4 асосан ҳамон усулҳоро ҳамчун GPT-3 истифода хоҳад кард, аз ин рӯ, ба ҷои ҷаҳиши парадигма, GPT-4 он чизеро, ки ҳоло GPT-3 иҷро мекунад, васеъ хоҳад кард - аммо бо қобилияти ба таври назаррас бештар хулосабарорӣ.
GPT-3 ба корбарон имкон дод, ки бо мақсадҳои амалӣ забони табииро ворид кунанд, аммо барои тарҳрезии фаврӣ, ки натиҷаҳои хуб медиҳад, ба ҳар ҳол каме таҷриба лозим буд. GPT-4 дар пешгӯии ниятҳои корбарон хеле беҳтар хоҳад буд.
Параметрҳои GPT-4 чӣ гуна хоҳанд буд?
Сарфи назар аз он ки яке аз пешрафтҳои аз ҳама интизори AI аст, дар бораи GPT-4 чизе маълум нест: он чӣ гуна хоҳад буд, он чӣ гуна хусусиятҳо хоҳад дошт ва чӣ гуна қудратҳо хоҳад дошт.
Соли гузашта, Олтман саволу ҷавоб анҷом дод ва чанд тафсилотро дар бораи орзуҳои OpenAI барои GPT-4 ошкор кард. Ба гуфтаи Олтман, он аз GPT-3 калонтар нахоҳад буд. GPT-4 аз ҳама васеъ истифодашаванда гумон аст модели забон. Гарчанде ки модел дар муқоиса бо наслҳои қаблии он бузург хоҳад буд шабакаҳои нейралӣ, андозаи он хусусияти фарқкунандаи он нахоҳад буд. GPT-3 ва Gopher номзадҳои қобили эътимод мебошанд (175B-280B).
Рекорди Nvidia ва Microsoft Megatron-Turing NLG доранд зичтарин шабакаи нейрон параметрҳо дар 530B - се маротиба аз GPT-3 - то ба наздикӣ, вақте ки Google PaLM онро дар 540B гирифт. Тааҷҷубовар аст, ки як қатор моделҳои камтар аз MT-NLG бартарӣ доштанд.
Тибқи робитаи қонуни қудрат, Ҷаред Каплан ва ҳамкорони OpenAI дар соли 2020 муайян карданд, ки ҳангоми коркарди афзоиши буҷет асосан барои зиёд кардани шумораи параметрҳо сарф мешавад, иҷроиш бештар беҳтар мешавад. Google, Nvidia, Microsoft, OpenAI, DeepMind ва дигар ширкатҳои моделсозии забон қоидаҳоро итоаткорона риоя карданд.
Олтман қайд кард, ки онҳо дигар на ба сохтани моделҳои азим, балки бештар ба ҳадди аксар расонидани самаранокии моделҳои хурдтар таваҷҷӯҳ зоҳир мекунанд.
Муҳаққиқони OpenAI тарафдорони аввали гипотезаи миқёс буданд, аммо онҳо шояд фаҳмиданд, ки роҳҳои иловагии қаблан кашфнашуда метавонанд ба моделҳои олӣ оварда расонанд. GPT-4 бо ин сабабҳо аз GPT-3 ба таври назаррас калонтар нахоҳад буд.
OpenAI ба ҷанбаҳои дигар, аз қабили додаҳо, алгоритмҳо, параметрсозӣ ва ҳамоҳангсозӣ, ки имкони зудтар ба даст овардани фоидаи назаррас доранд, таваҷҷӯҳи бештар хоҳад дод. Мо бояд интизор шавем ва бубинем, ки модели дорои параметрҳои 100T чӣ кор карда метавонад.
Нуқтаҳои асосӣ:
- Андозаи модел: GPT-4 аз GPT-3 калонтар хоҳад буд, аммо на он қадар зиёд (MT-NLG 530B ва PaLM 540B). Андозаи модел бетаъсир хоҳад буд.
- Оптималӣ: GPT-4 назар ба GPT-3 захираҳои бештарро истифода мебарад. Он фаҳмишҳои нави оптималӣ дар бораи параметрсозӣ (гиперпараметрҳои оптималӣ) ва усулҳои миқёсро амалӣ хоҳад кард (шумораи аломатҳои омӯзишӣ ба мисли андозаи модел муҳим аст).
- Мултимодалӣ: GPT-4 танҳо метавонад паёмҳои матниро ирсол ва қабул кунад (на мултимодалӣ). OpenAI мекӯшад пеш аз гузаштан ба моделҳои мултимодалӣ моделҳои забонро ба ҳудуди худ тела диҳад ДАЛЛЕ 2, ки онҳо пешгӯӣ мекунанд, дар ниҳоят аз системаҳои универсалӣ пеш хоҳанд рафт.
- Норасоӣ: GPT-4, мисли пешгузаштагони худ GPT-2 ва GPT-3, модели зич хоҳад буд (ҳамаи параметрҳо барои коркарди ҳама гуна вуруди додашуда истифода мешаванд). Дар оянда кам-будй ахамияти калон пайдо мекунад.
- Мутобиқ: GPT-4 нисбат ба GPT-3 ба мо наздиктар хоҳад буд. Он чизҳои омӯхтаашро аз InstructGPT, ки бо саҳми инсон таҳия шудааст, мегузорад. Бо вуҷуди ин, конвергенсияи AI роҳи дур аст ва кӯшишҳо бояд бодиққат арзёбӣ карда шаванд, на муболиға.
хулоса
Интеллекти умумии сунъӣ. Ин як ҳадафи бузург аст, аммо таҳиягарони OpenAI барои ноил шудан ба он кор мекунанд. Ҳадафи AGI эҷод кардани модел ё "агент" аст, ки қодир ба дарк ва иҷрои ҳама гуна фаъолияте, ки шахс метавонад анҷом диҳад.
GPT-4 метавонад қадами навбатии ноил шудан ба ин ҳадаф бошад ва он мисли як филми фантастикии илмӣ садо медиҳад. Шумо метавонед ҳайрон шавед, ки ноил шудан ба AGI то чӣ андоза воқеӣ аст.
Ба гуфтаи Рэй Курцвейл, директори муҳандисии Google, мо то соли 2029 ба ин марҳала мерасем. Бо дарназардошти ин, биёед ба GPT-4 ва паҳлӯҳои ин модел амиқтар назар андозем, вақте ки мо ба AGI (Зеҳни умумии сунъӣ) наздик мешавем.
Дин ва мазҳаб