Saturs[Paslēpt][Rādīt]
GPT-3, šī brīža lielo neironu tīklu, 2020. gada maijā publicēja autors OpenAIAI startup, kuru līdzdibināja Elons Masks un Sems Altmens. GPT-3 ir moderns valodas modelis ar 175 miljardiem parametru salīdzinājumā ar 1,5 miljardiem parametru tā priekšgājējā GPT-2.
GPT-3 pārspēja Microsoft NLG Tjūringa modeli (Turing Natural Language Generation), kuram iepriekš bija rekords par lielāko neironu tīklu ar 17 miljardiem parametru.
Valodas modelis ir slavēts, kritizēts un pat rūpīgi pārbaudīts; tas ir arī radījis jaunus un intriģējošus lietojumus. Un tagad ir ziņojumi, ka GPT-4, nākamais OpenAI izdevums valodas modelis, tiešām drīzumā būs.
Ja vēlaties uzzināt vairāk par GPT-4, esat nonācis īstajā vietā. Šajā rakstā mēs padziļināti apskatīsim GPT-4, apskatīsim tā parametrus, salīdzinājumu ar citiem modeļiem un daudz ko citu.
Tātad, kas ir GPT-4?
Lai saprastu GPT-4 darbības jomu, mums vispirms ir jāsaprot GPT-3, tā priekštecis. GPT-3 (ģeneratīvais iepriekš apmācīts transformators, trešā paaudze) ir autonoms satura ģenerēšanas rīks.
Lietotāji ievada datus a mašīna mācīšanās modeli, kas pēc tam var radīt milzīgu daudzumu atbilstoša raksta, saskaņā ar OpenAI. GPT-4 būs ievērojami labāks vairākuzdevumu veikšanā dažu kadru apstākļos - sava veida mašīna mācīšanās – tuvinot rezultātus vēl vairāk cilvēku rezultātiem.
GPT-3 izveide maksā simtiem miljonu mārciņu, bet tiek prognozēts, ka GPT-4 maksās ievērojami vairāk, jo tas būs pieci simti reižu lielāks. Lai to aplūkotu perspektīvā,
GPT-4 var būt tikpat daudz īpašību kā sinapsēm smadzenēs. GPT-4 galvenokārt izmantos tās pašas metodes kā GPT-3, tāpēc GPT-4 tā vietā, lai būtu paradigmas lēciens, paplašinās to, ko GPT-3 paveic pašlaik, taču ar ievērojami lielāku izsecināšanas iespēju.
GPT-3 ļāva lietotājiem praktiskiem nolūkiem ievadīt dabisko valodu, taču tai joprojām bija nepieciešamas zināšanas, lai izstrādātu uzvedni, kas dotu labus rezultātus. GPT-4 būs ievērojami labāks lietotāju nodomu prognozēšanā.
Kādi būs GPT-4 parametri?
Neskatoties uz to, ka tas ir viens no visvairāk gaidītajiem AI sasniegumiem, par GPT-4 nekas nav zināms: kā tas izskatīsies, kādas tam būs īpašības un kādas tam būs iespējas.
Pagājušajā gadā Altmans veica jautājumu un atbilžu jautājumu un atklāja dažas detaļas par OpenAI ambīcijām attiecībā uz GPT-4. Pēc Altmana domām, tas nebūtu lielāks par GPT-3. GPT-4, visticamāk, nebūs visplašāk izmantotais valodas modelis. Lai gan modelis būs milzīgs salīdzinājumā ar iepriekšējām paaudzēm neironu tīkli, tā izmērs nebūs tā atšķirīgā iezīme. GPT-3 un Gopher ir ticamākie kandidāti (175B-280B).
Nvidia un Microsoft Megatron-Turing NLG piederēja rekordam blīvākais neironu tīkls parametri bija 530 B — trīs reizes vairāk nekā GPT-3 — līdz nesenam laikam, kad Google PaLM to sasniedza 540 B. Pārsteidzoši, ka daudzi mazāki modeļi pārspēja MT-NLG.
Saskaņā ar jaudas likuma savienojumu, OpenAI Džareds Kaplans un kolēģi 2020. gadā noteica, ka tad, kad apstrādes budžeta palielinājumi tiek tērēti galvenokārt parametru skaita palielināšanai, veiktspēja uzlabojas visvairāk. Google, Nvidia, Microsoft, OpenAI, DeepMind un citi valodu modelēšanas uzņēmumi paklausīgi ievēroja noteikumus.
Altmans norādīja, ka viņi vairs nekoncentrējas uz masīvu modeļu konstruēšanu, bet gan uz mazāku modeļu veiktspējas maksimālu palielināšanu.
OpenAI pētnieki bija pirmie mērogošanas hipotēzes atbalstītāji, taču viņi, iespējams, atklāja, ka papildu, iepriekš neatklāti ceļi var novest pie labākiem modeļiem. Šo iemeslu dēļ GPT-4 nebūs ievērojami lielāks par GPT-3.
OpenAI pievērsīs lielāku uzmanību citiem aspektiem, piemēram, datiem, algoritmiem, parametru noteikšanai un saskaņošanai, kas var ātrāk sniegt ievērojamas priekšrocības. Mums būs jāgaida un jāskatās, ko var darīt modelis ar 100T parametriem.
Galvenie punkti:
- Modeļa izmērs: GPT-4 būs lielāks par GPT-3, bet ne daudz (MT-NLG 530B un PaLM 540B). Modeļa izmērs būs nenozīmīgs.
- Optimalitāte: GPT-4 izmantos vairāk resursu nekā GPT-3. Tas ieviesīs jaunus optimizācijas ieskatus parametrizācijā (optimālie hiperparametri) un mērogošanas metodēs (apmācības marķieru skaits ir tikpat svarīgs kā modeļa izmērs).
- Multimodalitāte: GPT-4 varēs nosūtīt un saņemt tikai īsziņas (nevis multimodālas). OpenAI cenšas virzīt valodu modeļus līdz robežām, pirms pāriet uz multimodāliem modeļiem, piemēram 2. PLĀKSNE, kas, viņuprāt, galu galā pārspēs unimodālās sistēmas.
- Skopums: GPT-4, tāpat kā tā priekšgājēji GPT-2 un GPT-3, būs blīvs modelis (visi parametri tiks izmantoti, lai apstrādātu jebkuru norādīto ievadi). Nākotnē retums kļūs svarīgāks.
- Noregulēšana: GPT-4 tuvosies mums tuvāk nekā GPT-3. Tajā tiks ievietots tas, ko tas ir iemācījies no InstructGPT, kas tika izstrādāts ar cilvēka ieguldījumu. Tomēr AI konverģence ir tālu, un centieni ir rūpīgi jāizvērtē, nevis pārspīlēti.
Secinājumi
Vispārējais mākslīgais intelekts. Tas ir liels mērķis, taču OpenAI izstrādātāji strādā, lai to sasniegtu. AGI mērķis ir izveidot modeli vai "aģentu", kas spēj saprast un veikt jebkuru darbību, ko cilvēks var.
GPT-4 var būt nākamais solis šī mērķa sasniegšanā, un tas izklausās kā kaut kas no zinātniskās fantastikas filmas. Jums varētu rasties jautājums, cik reāli ir sasniegt AGI.
Mēs sasniegsim šo pagrieziena punktu līdz 2029. gadam, norāda Google inženierzinātņu direktors Rejs Kurcveils. Paturot to prātā, padziļināti aplūkosim GPT-4 un šī modeļa sekas, tuvojoties AGI (mākslīgajam vispārējam intelektam).
Atstāj atbildi