Turinys[Slėpti][Rodyti]
GPT-3, didžiausias šiuo metu neuroninis tinklas, 2020 m. gegužės mėn OpenAIAI startuolis, kurį įkūrė Elonas Muskas ir Samas Altmanas. GPT-3 yra pažangiausias kalbos modelis su 175 milijardais parametrų, palyginti su 1,5 milijardo parametrų jo pirmtake GPT-2.
GPT-3 pranoko Microsoft NLG Turing modelį (Turing Natural Language Generation), kuris anksčiau buvo didžiausio neuroninio tinklo rekordas su 17 milijardų parametrų.
Kalbos modelis buvo giriamas, kritikuojamas ir net kruopščiai išnagrinėtas; taip pat atsirado naujų ir intriguojančių naudojimo būdų. Ir dabar yra pranešimų, kad GPT-4, kitas OpenAI leidimas kalbos modelis, tikrai netrukus pasirodys.
Atvykote į tinkamą svetainę, jei norite sužinoti daugiau apie GPT-4. Šiame straipsnyje išsamiai apžvelgsime GPT-4, apžvelgsime jo parametrus, palyginimą su kitais modeliais ir kt.
Taigi, kas yra GPT-4?
Norėdami suprasti GPT-4 taikymo sritį, pirmiausia turime suprasti GPT-3, jo pirmtaką. GPT-3 (Generative Pre-Tained Transformer, trečios kartos) yra savarankiškas turinio generavimo įrankis.
Vartotojai įveda duomenis į a mašininis mokymasis modelį, kuris vėliau gali sukurti daugybę atitinkamų raštų, kaip teigia OpenAI. GPT-4 bus žymiai geresnis atliekant kelias užduotis kelių kadrų sąlygomis – tam tikra rūšis mašininis mokymasis – dar labiau priartinti rezultatus prie žmonių.
GPT-3 pastatymas kainuoja šimtus milijonų svarų, tačiau prognozuojama, kad GPT-4 kainuos žymiai daugiau, nes jis bus penkis šimtus kartų didesnis. Norėdami pažvelgti į tai perspektyvoje,
GPT-4 gali turėti tiek daug savybių, kiek sinapsės smegenyse. GPT-4 daugiausia naudos tuos pačius metodus kaip ir GPT-3, todėl GPT-4, o ne paradigmos šuolis, išplės tai, ką GPT-3 daro šiuo metu, tačiau su žymiai didesnėmis išvadų galimybėmis.
GPT-3 leido vartotojams įvesti natūralią kalbą praktiniais tikslais, tačiau vis tiek reikėjo tam tikros patirties, kad būtų sukurtas geras rezultatas. GPT-4 žymiai geriau nuspės vartotojų ketinimus.
Kokie bus GPT-4 parametrai?
Nepaisant to, kad GPT-4 yra vienas iš labiausiai laukiamų DI pažangų, apie GPT-XNUMX nieko nežinoma: kaip jis atrodys, kokias savybes jis turės ir kokias galias jis turės.
Praėjusiais metais Altman atliko klausimų ir atsakymų klausimus ir atskleidė keletą detalių apie OpenAI ambicijas dėl GPT-4. Anot Altmano, jis nebūtų didesnis nei GPT-3. GPT-4 vargu ar bus plačiausiai naudojamas kalbos modelis. Nors modelis bus didžiulis, palyginti su ankstesnėmis kartomis neuroniniai tinklai, jo dydis nebus jo išskirtinė savybė. GPT-3 ir Gopher yra labiausiai tikėtini kandidatai (175B-280B).
Nvidia ir Microsoft Megatron-Turing NLG turėjo rekordą tankiausias neuroninis tinklas parametrai buvo 530B – tris kartus daugiau nei GPT-3 – iki šiol, kai „Google PaLM“ jį siekė 540B. Keista, bet daugybė mažesnių modelių pranoko MT-NLG.
Remiantis galios įstatymo ryšiu, OpenAI atstovas Jaredas Kaplanas ir kolegos 2020 m. nustatė, kad padidinus apdorojimo biudžetą daugiausia išleidžiama parametrų skaičiui didinti, našumas pagerėja labiausiai. „Google“, „Nvidia“, „Microsoft“, „OpenAI“, „DeepMind“ ir kitos kalbų modeliavimo įmonės klusniai laikėsi taisyklių.
Altmanas nurodė, kad jie daugiau nesikoncentruoja ties masyvių modelių kūrimu, o į mažesnių modelių našumo didinimą.
OpenAI tyrėjai buvo ankstyvieji mastelio keitimo hipotezės šalininkai, tačiau jie galėjo atrasti, kad papildomi, anksčiau neatrasti keliai gali lemti geresnius modelius. Dėl šių priežasčių GPT-4 nebus žymiai didesnis nei GPT-3.
OpenAI daugiau dėmesio skirs kitiems aspektams, pvz., duomenims, algoritmams, parametrizavimui ir derinimui, kurie gali greičiau duoti reikšmingos naudos. Teks palaukti ir pažiūrėti, ką gali padaryti modelis su 100T parametrais.
Pagrindiniai klausimai:
- Modelio dydis: GPT-4 bus didesnis nei GPT-3, bet ne daug (MT-NLG 530B ir PaLM 540B). Modelio dydis bus nepastebimas.
- Optimalumas: GPT-4 naudos daugiau išteklių nei GPT-3. Ji įdiegs naujas optimalumo įžvalgas parametrų (optimalūs hiperparametrai) ir mastelio keitimo metodai (mokymo žetonų skaičius yra toks pat svarbus kaip modelio dydis).
- Multimodalumas: GPT-4 galės siųsti ir gauti tik tekstinius pranešimus (ne daugiarūšius). „OpenAI“ siekia išstumti kalbos modelius iki savo ribų prieš pereinant prie daugiarūšio transporto modelių, pvz DALĖ 2, kurios, jų prognozėmis, ilgainiui pranoks unimodalines sistemas.
- Retumas: GPT-4, kaip ir jo pirmtakai GPT-2 ir GPT-3, bus tankus modelis (visi parametrai bus naudojami apdorojant bet kurią įvestį). Ateityje retumas taps svarbesnis.
- Išlyginimas: GPT-4 priartės prie mūsų arčiau nei GPT-3. Ji pateiks tai, ko išmoko iš InstructGPT, kuri buvo sukurta žmogaus indėliu. Vis dėlto dirbtinio intelekto konvergencija dar toli, todėl pastangas reikia atidžiai įvertinti, o ne perdėti.
Išvada
Bendrasis dirbtinis intelektas. Tai didelis tikslas, tačiau OpenAI kūrėjai stengiasi jį pasiekti. AGI tikslas yra sukurti modelį arba „agentą“, galintį suprasti ir atlikti bet kokią žmogaus veiklą.
GPT-4 gali būti kitas žingsnis siekiant šio tikslo, ir tai skamba kaip kažkas iš mokslinės fantastikos filmo. Jums gali kilti klausimas, kaip realu pasiekti AGI.
Pasak Ray Kurzweilo, „Google“ inžinerijos direktoriaus, šį etapą pasieksime iki 2029 m. Turėdami tai omenyje, pažvelkime į GPT-4 ir šio modelio pasekmes, kai artėjame prie AGI (Artificial General Intelligence).
Palikti atsakymą