სარჩევი[დამალვა][ჩვენება]
GPT-3, იმ მომენტის დიდი ნერვული ქსელი, გამოქვეყნდა 2020 წლის მაისში OpenAI, ხელოვნური ინტელექტის სტარტაპი, რომელიც თანადამფუძნებულია ელონ მასკისა და სემ ალტმენის მიერ. GPT-3 არის უახლესი ენობრივი მოდელი 175 მილიარდი პარამეტრით, წინამორბედ GPT-1,5-ის 2 მილიარდ პარამეტრთან შედარებით.
GPT-3-მა აჯობა Microsoft-ის NLG Turing მოდელს (Turing Natural Language Generation), რომელიც მანამდე 17 მილიარდი პარამეტრით ყველაზე დიდ ნერვულ ქსელში რეკორდს იკავებდა.
ენის მოდელი შექება, კრიტიკა და შესწავლაც კი მოხდა; მან ასევე შექმნა ახალი და დამაინტრიგებელი გამოყენება. ახლა კი არის ცნობები, რომ GPT-4, OpenAI-ის შემდეგი გამოცემა ენის მოდელი, ნამდვილად მალე მოვა.
თქვენ მიხვედით სწორ საიტზე, თუ გსურთ გაიგოთ მეტი GPT-4-ის შესახებ. ჩვენ ამ სტატიაში სიღრმისეულად განვიხილავთ GPT-4-ს, მოიცავს მის პარამეტრებს, როგორ ადარებს მას სხვა მოდელებთან და სხვა.
რა არის GPT-4?
GPT-4-ის ფარგლების გასაგებად, ჯერ უნდა გავიგოთ GPT-3, მისი წინამორბედი. GPT-3 (გენერაციული წინასწარ მომზადებული ტრანსფორმატორი, მესამე თაობა) არის კონტენტის გენერირების ავტონომიური ინსტრუმენტი.
მომხმარებლები მონაცემებს ა მანქანა სწავლის მოდელი, რომელსაც შეუძლია შემდგომში საპასუხოდ აწარმოოს დიდი რაოდენობით შესაბამისი წერა, OpenAI-ის მიხედვით. GPT-4 მნიშვნელოვნად უკეთესი იქნება რამდენიმე დარტყმის პირობებში მრავალამოცანის შესრულებაში - ერთგვარი ტიპი მანქანა სწავლის - შედეგების კიდევ უფრო მიახლოება ადამიანებთან.
GPT-3-ის აშენება ასობით მილიონი ფუნტი ჯდება, მაგრამ GPT-4, სავარაუდოდ, მნიშვნელოვნად ძვირი დაჯდება, რადგან ის მასშტაბით ხუთასჯერ უფრო დიდი იქნება. ამის გასაგებად,
GPT-4 შეიძლება ჰქონდეს იმდენი მახასიათებელი, რამდენიც თავის ტვინში სინაფსებს. GPT-4 ძირითადად გამოიყენებს იგივე მეთოდებს, როგორც GPT-3, ამდენად, ვიდრე პარადიგმული ნახტომი, GPT-4 გააფართოვებს იმას, რასაც GPT-3 აკეთებს ამჟამად – მაგრამ გაცილებით მეტი დასკვნის შესაძლებლობით.
GPT-3 მომხმარებლებს საშუალებას აძლევდა შეეყვანათ ბუნებრივი ენა პრაქტიკული მიზნებისთვის, მაგრამ მას მაინც სჭირდებოდა გარკვეული ექსპერტიზა იმისთვის, რომ შეემუშავებინა მოთხოვნა, რომელიც კარგ შედეგს გამოიღებდა. GPT-4 მნიშვნელოვნად უკეთესი იქნება მომხმარებელთა განზრახვების პროგნოზირებაში.
როგორი იქნება GPT-4 პარამეტრები?
მიუხედავად იმისა, რომ ის არის ერთ-ერთი ყველაზე მოსალოდნელი ხელოვნური ინტელექტის მიღწევა, GPT-4-ის შესახებ არაფერია ცნობილი: როგორი იქნება ის, რა მახასიათებლები ექნება და რა ძალა ექნება.
გასულ წელს ალტმანმა გააკეთა კითხვა-პასუხი და გამოავლინა რამდენიმე დეტალი OpenAI-ის ამბიციების შესახებ GPT-4-ისთვის. ალტმანის თქმით, ეს არ იქნება GPT-3-ზე დიდი. GPT-4 ნაკლებად სავარაუდოა, რომ იყოს ყველაზე ფართოდ გამოყენებული ენის მოდელი. მიუხედავად იმისა, რომ მოდელი წინა თაობებთან შედარებით დიდი იქნება ნეირონული ქსელები, მისი ზომა არ იქნება მისი განმასხვავებელი მახასიათებელი. GPT-3 და Gopher ყველაზე დამაჯერებელი კანდიდატებია (175B-280B).
Nvidia-ს და Microsoft-ის Megatron-Turing NLG-ს რეკორდი ეკავათ ყველაზე მკვრივი ნერვული ქსელი პარამეტრები 530B-ზე – სამჯერ აღემატება GPT-3-ს – ბოლო დრომდე, სანამ Google-ის PaLM-მა ის 540B-ზე აიღო. გასაკვირია, რომ მცირე მოდელებმა აჯობა MT-NLG-ს.
ძალაუფლების კანონის კავშირის თანახმად, OpenAI-ის ჯარედ კაპლანმა და კოლეგებმა 2020 წელს დაადგინეს, რომ როდესაც ბიუჯეტის ზრდის დამუშავება ძირითადად იხარჯება პარამეტრების რაოდენობის გაზრდაზე, შესრულება ყველაზე მეტად უმჯობესდება. Google, Nvidia, Microsoft, OpenAI, DeepMind და სხვა ენების მოდელირების კომპანიები მორჩილად იცავდნენ რეგულაციებს.
ალტმანმა აღნიშნა, რომ ისინი აღარ იყვნენ კონცენტრირებულნი მასიური მოდელების შექმნაზე, არამედ უფრო მცირე მოდელების მუშაობის მაქსიმიზაციაზე.
OpenAI-ის მკვლევარები იყვნენ სკალირების ჰიპოთეზის ადრეული მხარდამჭერები, მაგრამ მათ შესაძლოა აღმოაჩინეს, რომ დამატებით, ადრე აღმოუჩენელ ბილიკებს შეიძლება მიჰყვეს უმაღლესი მოდელები. ამ მიზეზების გამო GPT-4 არ იქნება მნიშვნელოვნად დიდი ვიდრე GPT-3.
OpenAI უფრო მეტ ყურადღებას გაამახვილებს სხვა ასპექტებზე, როგორიცაა მონაცემები, ალგორითმები, პარამეტრიზაცია და გასწორება, რომლებსაც აქვთ პოტენციალი უფრო სწრაფად მოიტანონ მნიშვნელოვანი სარგებელი. ჩვენ უნდა დაველოდოთ და ვნახოთ, რა შეუძლია გააკეთოს მოდელმა 100T პარამეტრებით.
ძირითადი პუნქტები:
- მოდელის ზომა: GPT-4 იქნება GPT-3-ზე დიდი, მაგრამ არა ბევრად (MT-NLG 530B და PaLM 540B). მოდელის ზომა შეუმჩნეველი იქნება.
- ოპტიმალურობა: GPT-4 გამოიყენებს მეტ რესურსს, ვიდრე GPT-3. ის განახორციელებს ოპტიმალურობის ახალ შეხედულებებს პარამეტრიზაციაზე (ოპტიმალური ჰიპერპარამეტრები) და სკალირების მეთოდებზე (სავარჯიშო ჟეტონების რაოდენობა ისეთივე მნიშვნელოვანია, როგორც მოდელის ზომა).
- მულტიმედიზმი: GPT-4 შეძლებს მხოლოდ ტექსტური შეტყობინებების გაგზავნას და მიღებას (არა მულტიმოდალური). OpenAI ცდილობს მიაღწიოს ენობრივი მოდელების საზღვრებს, სანამ ისეთ მულტიმოდალურ მოდელებზე გადავა დალი 2, რომელიც მათი ვარაუდით, საბოლოოდ გადააჭარბებს უნიმოდალურ სისტემებს.
- სპარსულობა: GPT-4, ისევე როგორც მისი წინამორბედები GPT-2 და GPT-3, იქნება მკვრივი მოდელი (ყველა პარამეტრი გამოყენებული იქნება ნებისმიერი მოცემული შეყვანის დასამუშავებლად). მომავალში სპარსულობა უფრო მნიშვნელოვანი გახდება.
- ვიზირების: GPT-4 უფრო ახლოს მოგვიახლოვდება ვიდრე GPT-3. ის განათავსებს იმას, რაც მან ისწავლა InstructGPT-ისგან, რომელიც შეიქმნა ადამიანის დახმარებით. მიუხედავად ამისა, ხელოვნური ინტელექტის კონვერგენცია შორს არის და ძალისხმევა უნდა იყოს ყურადღებით შეფასებული და არა გადაჭარბებული.
დასკვნა
ხელოვნური გენერალური ინტელექტი. ეს დიდი მიზანია, მაგრამ OpenAI დეველოპერები მუშაობენ მის მისაღწევად. AGI-ის მიზანია შექმნას მოდელი ან „აგენტი“, რომელსაც შეუძლია გაიგოს და გააკეთოს ნებისმიერი აქტივობა, რაც ადამიანს შეუძლია.
GPT-4 შეიძლება იყოს შემდეგი ნაბიჯი ამ მიზნის მისაღწევად და ის ჟღერს რაღაც სამეცნიერო ფანტასტიკის ფილმიდან. თქვენ შეიძლება გაინტერესებთ, რამდენად რეალურია AGI-ს მიღწევა.
Google-ის ინჟინერიის დირექტორის, რეი კურცვეილის თქმით, ჩვენ ამ ეტაპს 2029 წლისთვის მივაღწევთ. ამის გათვალისწინებით, მოდით უფრო ღრმად შევხედოთ GPT-4-ს და ამ მოდელის შედეგებს, როდესაც მივუახლოვდებით AGI-ს (ხელოვნური გენერალური ინტელექტი).
დატოვე პასუხი