Pregled sadržaja[Sakriti][Pokazati]
GPT-3, veliku neuronsku mrežu tog trenutka, objavio je u svibnju 2020 OpenAI, AI startup koji su suosnivali Elon Musk i Sam Altman. GPT-3 je vrhunski jezični model sa 175 milijardi parametara u usporedbi s 1,5 milijardi parametara u svom prethodniku GPT-2.
GPT-3 je nadmašio Microsoftov NLG Turing model (Turing Natural Language Generation), koji je prethodno držao rekord za najveću neuronsku mrežu sa 17 milijardi parametara.
Jezični model je hvaljen, kritiziran, pa čak i pomno ispitan; također je iznjedrila nove i intrigantne namjene. A sada postoje izvješća da je GPT-4, sljedeće izdanje OpenAI jezični model, doista će uskoro doći.
Stigli ste na pravo mjesto ako želite saznati više o GPT-4. GPT-4 ćemo detaljno pogledati u ovom članku, pokrivajući njegove parametre, usporedbu s drugim modelima i još mnogo toga.
Dakle, što je GPT-4?
Da bismo razumjeli opseg GPT-4, prvo moramo razumjeti GPT-3, njegov prethodnik. GPT-3 (Generative Pre-trained Transformer, treća generacija) je autonomni alat za generiranje sadržaja.
Korisnici unose podatke u a stroj za učenje model, koji naknadno može proizvesti ogromne količine relevantnog teksta kao odgovor, prema OpenAI-ju. GPT-4 će biti znatno bolji u multitaskingu u uvjetima nekoliko snimaka - vrsta stroj za učenje – još više približava rezultate ljudskim.
Izrada GPT-3 košta stotine milijuna funti, no predviđa se da će GPT-4 koštati znatno više jer će biti petsto puta veći po veličini. Da ovo stavim u perspektivu,
GPT-4 može imati onoliko karakteristika koliko i sinapse u mozgu. GPT-4 će uglavnom koristiti iste metode kao GPT-3, stoga će umjesto paradigme, GPT-4 proširiti ono što GPT-3 trenutno postiže - ali sa znatno većom sposobnošću zaključivanja.
GPT-3 je omogućio korisnicima da uđu u prirodni jezik u praktične svrhe, ali je još uvijek bilo potrebno određeno znanje kako bi se dizajnirao prompt koji bi dao dobre rezultate. GPT-4 će biti znatno bolji u predviđanju namjera korisnika.
Koji će biti GPT-4 parametri?
Unatoč tome što je jedan od najiščekivanijih napretka AI, ništa se ne zna o GPT-4: kako će izgledati, kakve će karakteristike imati i koje će moći imati.
Prošle godine, Altman je napravio Q&A i otkrio nekoliko detalja o OpenAI-jevim ambicijama za GPT-4. Ne bi bio veći od GPT-3, prema Altmanu. Malo je vjerojatno da će GPT-4 biti najrašireniji jezični model. Iako će model biti ogroman u usporedbi s prethodnim generacijama neuronske mreže, njegova veličina neće biti njegova prepoznatljiva karakteristika. GPT-3 i Gopher su najvjerojatniji kandidati (175B-280B).
Nvidia i Microsoftov Megatron-Turing NLG držali su rekord za najgušća neuronska mreža parametri na 530B – tri puta više od GPT-3 – sve do nedavno kada ga je Googleov PaLM uzeo na 540B. Iznenađujuće, niz manjih modela nadmašio je MT-NLG.
Prema zakonskoj vezi, Jared Kaplan iz OpenAI-a i njegovi kolege utvrdili su 2020. da kada se povećanja proračuna za obradu troše uglavnom na povećanje broja parametara, izvedba se najviše poboljšava. Google, Nvidia, Microsoft, OpenAI, DeepMind i druge tvrtke za jezično modeliranje poslušno su slijedile propise.
Altman je naznačio da se više ne koncentriraju na konstruiranje masivnih modela, već radije na maksimiziranje performansi manjih modela.
Istraživači OpenAI bili su rani zagovornici hipoteze o skaliranju, ali su možda otkrili da dodatni, prethodno neotkriveni putovi mogu dovesti do superiornih modela. GPT-4 neće biti značajno veći od GPT-3 iz ovih razloga.
OpenAI će staviti veći fokus na druge aspekte, kao što su podaci, algoritmi, parametriranje i usklađivanje, koji imaju potencijal da brže donesu značajne prednosti. Morat ćemo pričekati i vidjeti što može model sa 100T parametrima.
Ključne točke:
- Veličina modela: GPT-4 će biti veći od GPT-3, ali ne mnogo (MT-NLG 530B i PaLM 540B). Veličina modela bit će neupadljiva.
- Optimalnost: GPT-4 će koristiti više resursa od GPT-3. On će implementirati nove uvide u optimalnost u parametrizaciju (optimalni hiperparametri) i metode skaliranja (broj tokena za obuku jednako je važan kao i veličina modela).
- Multimodalnost: GPT-4 će moći slati i primati samo tekstualne poruke (ne multimodalne). OpenAI nastoji gurnuti jezične modele do njihovih granica prije prelaska na multimodalne modele kao što su PLOČA 2, za koji predviđaju da će na kraju nadmašiti unimodalne sustave.
- Rijetkost: GPT-4, kao i njegovi prethodnici GPT-2 i GPT-3, bit će gust model (svi parametri će se koristiti za obradu bilo kojeg zadanog ulaza). U budućnosti će rijetkost postati važnija.
- Poravnanje: GPT-4 će nam se približiti bliže nego GPT-3. Stavit će ono što je naučio od InstructGPT-a, koji je razvijen uz ljudski doprinos. Ipak, konvergencija umjetne inteligencije još je daleko, a napore treba pažljivo procjenjivati, a ne preuveličavati.
Zaključak
Opća umjetna inteligencija. To je veliki cilj, ali OpenAI programeri rade na tome da ga postignu. Cilj AGI-ja je stvoriti model ili “agenta” sposobnog razumjeti i obavljati bilo koju aktivnost koju osoba može.
GPT-4 bi mogao biti sljedeći korak u postizanju ovog cilja, a zvuči kao nešto iz znanstvenofantastičnog filma. Mogli biste se pitati koliko je realno postići AGI.
Dogodit ćemo ovu prekretnicu do 2029. godine, kaže Ray Kurzweil, Googleov direktor inženjeringa. Imajući to na umu, pogledajmo dublje GPT-4 i posljedice ovog modela kako se približavamo AGI (umjetna opća inteligencija).
Ostavi odgovor