Mündəricat[Gizlət][Göstər]
GPT-3, anın böyük neyron şəbəkəsi, 2020-ci ilin may ayında nəşr olundu OpenAI, Elon Musk və Sam Altman tərəfindən yaradılan AI startapı. GPT-3, sələfi GPT-175-dəki 1,5 milyard parametrlə müqayisədə 2 milyard parametrə malik ən müasir dil modelidir.
GPT-3 daha əvvəl 17 milyard parametrlə ən böyük neyron şəbəkəsi üzrə rekorda sahib olan Microsoft-un NLG Turing modelini (Turing Natural Language Generation) üstələdi.
Dil modeli təriflənmiş, tənqid edilmiş və hətta diqqətlə nəzərdən keçirilmişdir; həm də yeni və maraqlı istifadələr yaratdı. İndi isə OpenAI-nin növbəti nəşri olan GPT-4 haqqında məlumatlar var dil modeli, həqiqətən tezliklə gələcək.
GPT-4 haqqında daha çox öyrənmək istəyirsinizsə, düzgün sayta gəldiniz. Biz bu məqalədə GPT-4-ə ətraflı baxacağıq, onun parametrlərini, digər modellərlə müqayisəsini və s.
Beləliklə, GPT-4 nədir?
GPT-4-ün əhatə dairəsini anlamaq üçün əvvəlcə onun xəbərçisi olan GPT-3-ü başa düşməliyik. GPT-3 (Generative Pre-trained Transformer, üçüncü nəsil) avtonom məzmun yaradan vasitədir.
İstifadəçilər məlumatları a maşın təlim OpenAI-ə görə, sonradan cavab olaraq böyük miqdarda müvafiq yazı istehsal edə bilən model. GPT-4 bir neçə atış şəraitində çoxlu tapşırıqları yerinə yetirməkdə əhəmiyyətli dərəcədə yaxşı olacaq - bir növ maşın təlim - nəticələri insanların nəticələrinə daha da yaxınlaşdırmaq.
GPT-3-ün qurulması yüz milyonlarla funt-sterlinqə başa gəlir, lakin GPT-4-ün miqyasına görə beş yüz dəfə böyük olacağı üçün xeyli baha başa gələcəyi proqnozlaşdırılır. Bunu perspektivə qoymaq üçün,
GPT-4 beyindəki sinapslar qədər xüsusiyyətlərə malik ola bilər. GPT-4, əsasən, GPT-3 ilə eyni üsullardan istifadə edəcək, beləliklə, GPT-4, paradiqma sıçrayışı olmaqdansa, GPT-3-ün hal-hazırda əldə etdiyi işləri genişləndirəcək - lakin əhəmiyyətli dərəcədə daha böyük nəticə çıxarma qabiliyyəti ilə.
GPT-3 istifadəçilərə praktiki məqsədlər üçün təbii dilə daxil olmağa icazə verdi, lakin yaxşı nəticələr verəcək bir əmr hazırlamaq üçün hələ də müəyyən təcrübə tələb olunurdu. GPT-4 istifadəçilərin niyyətlərini proqnozlaşdırmaqda əhəmiyyətli dərəcədə yaxşı olacaq.
GPT-4 parametrləri nə olacaq?
Ən çox gözlənilən AI irəliləyişlərindən biri olmasına baxmayaraq, GPT-4 haqqında heç bir şey məlum deyil: onun necə görünəcəyi, hansı xüsusiyyətlərə sahib olacağı və hansı güclərə sahib olacağı.
Keçən il Altman sual-cavab etdi və OpenAI-nin GPT-4 üçün ambisiyaları haqqında bir neçə təfərrüatı açıqladı. Altmanın fikrincə, GPT-3-dən böyük olmayacaq. GPT-4 çətin ki, ən çox istifadə olunur dil modeli. Baxmayaraq ki, model əvvəlki nəsillərlə müqayisədə nəhəng olacaq sinir şəbəkələri, ölçüsü onun fərqləndirici xüsusiyyəti olmayacaq. GPT-3 və Gopher ən inandırıcı namizədlərdir (175B-280B).
Nvidia və Microsoft-un Megatron-Turing NLG şirkəti rekorda sahibdir ən sıx neyron şəbəkəsi 530B-də parametrlər - GPT-3-dən üç dəfə - Google-un PaLM onu 540B-də qəbul edənə qədər. Təəccüblüdür ki, bir sıra daha kiçik modellər MT-NLG-dən üstün oldu.
Güc qanunu əlaqəsinə görə, OpenAI-dən Jared Kaplan və həmkarları 2020-ci ildə müəyyən etdilər ki, büdcə artımlarının işlənməsi əsasən parametrlərin sayını artırmaq üçün xərcləndikdə, performans ən yaxşı şəkildə yaxşılaşır. Google, Nvidia, Microsoft, OpenAI, DeepMind və digər dil modelləşdirmə şirkətləri qaydalara itaətkarlıqla əməl etdilər.
Altman qeyd etdi ki, onlar artıq kütləvi modellər yaratmağa deyil, daha kiçik modellərin performansını maksimuma çatdırmağa diqqət yetirirlər.
OpenAI tədqiqatçıları miqyaslama fərziyyəsinin ilkin tərəfdarları idilər, lakin onlar əlavə, əvvəllər kəşf edilməmiş yolların üstün modellərə səbəb ola biləcəyini kəşf etmiş ola bilərlər. GPT-4 bu səbəblərə görə GPT-3-dən əhəmiyyətli dərəcədə böyük olmayacaq.
OpenAI daha tez əhəmiyyətli fayda gətirmək potensialına malik olan məlumatlar, alqoritmlər, parametrləşdirmə və uyğunlaşdırma kimi digər aspektlərə daha çox diqqət yetirəcək. Gözləyib 100T parametrləri olan bir modelin nə edə biləcəyini görməliyik.
Əsas nöqtələr:
- Modelin ölçüsü: GPT-4 GPT-3-dən daha böyük olacaq, lakin çox deyil (MT-NLG 530B və PaLM 540B). Modelin ölçüsü diqqətəlayiq olmayacaq.
- Optimallıq: GPT-4 GPT-3-dən daha çox resurs istifadə edəcək. O, parametrləşdirmə (optimal hiperparametrlər) və miqyaslama metodları (təlim tokenlərinin sayı model ölçüsü qədər vacibdir) üzrə yeni optimallıq anlayışlarını həyata keçirəcək.
- Multimodallıq: GPT-4 yalnız mətn mesajları göndərə və qəbul edə biləcək (multimodal deyil). OpenAI kimi multimodal modellərə keçməzdən əvvəl dil modellərini öz hüdudlarına çatdırmağa çalışır Plitələr 2, onların proqnozlaşdırdıqları kimi, nəticədə unimodal sistemləri üstələyəcək.
- Seyrəklik: GPT-4, sələfləri GPT-2 və GPT-3 kimi, sıx bir model olacaq (bütün parametrlər hər hansı bir girişi emal etmək üçün istifadə ediləcək). Gələcəkdə seyrəklik daha da vacib olacaq.
- Qruplaşma: GPT-4 bizə GPT-3-dən daha yaxından yanaşacaq. O, insan girişi ilə hazırlanmış InstructGPT-dən öyrəndiklərini qoyacaq. Yenə də AI-nın yaxınlaşması çox uzaqdır və səyləri şişirtmək əvəzinə diqqətlə qiymətləndirmək lazımdır.
Nəticə
Süni Ümumi İntellekt. Bu, böyük bir məqsəddir, lakin OpenAI tərtibatçıları buna nail olmaq üçün çalışırlar. AGI-nin məqsədi insanın bacara biləcəyi hər hansı fəaliyyəti başa düşə və edə bilən bir model və ya “agent” yaratmaqdır.
GPT-4 bu məqsədə çatmaqda növbəti addım ola bilər və bu, elmi fantastika filmindən bir şey kimi səslənir. AGI-yə çatmağın nə qədər real olduğunu düşünə bilərsiniz.
Google-un Mühəndislik Direktoru Rey Kurzweilin sözlərinə görə, biz bu mərhələni 2029-cu ilə qədər vuracağıq. Bunu nəzərə alaraq, AGI-yə (Süni Ümumi İntellekt) yaxınlaşdıqca GPT-4-ə və bu modelin nəticələrinə daha dərindən nəzər salaq.
Cavab yaz