Efnisyfirlit[Fela][Sýna]
GPT-3, stóra taugakerfi augnabliksins, var gefið út í maí 2020 af OpenAI, AI gangsetningin sem Elon Musk og Sam Altman stofnuðu í sameiningu. GPT-3 er háþróað tungumálalíkan með 175 milljarða færibreytur samanborið við 1,5 milljarða færibreytur í forveranum GPT-2.
GPT-3 stóð sig betur en NLG Turing líkan Microsoft (Turing Natural Language Generation), sem áður hafði metið yfir stærsta taugakerfi með 17 milljarða breytur.
Mállíkanið hefur verið lofað, gagnrýnt og jafnvel gagnrýnt; það hefur líka leitt til nýrra og forvitnilegra nota. Og nú eru fréttir um að GPT-4, næsta útgáfa af OpenAI tungumálamódel, mun örugglega koma fljótlega.
Þú ert kominn á réttan stað ef þú vilt læra meira um GPT-4. Við munum skoða GPT-4 ítarlega í þessari grein, fjalla um færibreytur hans, hvernig hann er í samanburði við aðrar gerðir og fleira.
Svo, hvað er GPT-4?
Til að skilja umfang GPT-4 verðum við fyrst að skilja GPT-3, forvera þess. GPT-3 (Generative Pre-trained Transformer, þriðju kynslóð) er sjálfstætt tæki til að búa til efni.
Notendur slá inn gögn í a vél nám líkan, sem getur síðan framleitt gríðarlegt magn af viðeigandi skrifum sem svar, samkvæmt OpenAI. GPT-4 mun vera umtalsvert betri í fjölverkavinnsla í fáum skotum - eins konar vél nám - færa niðurstöðurnar enn nær niðurstöðum manna.
GPT-3 kostar hundruð milljóna punda að smíða, en spáð er að GPT-4 muni kosta umtalsvert meira vegna þess að það verður fimm hundruð sinnum stærra í umfangi. Til að setja þetta í samhengi,
GPT-4 getur haft eins marga eiginleika og taugamót í heila. GPT-4 mun aðallega nota sömu aðferðir og GPT-3, þannig frekar en að vera hugmyndafræðilegt stökk, mun GPT-4 auka við það sem GPT-3 áorkar núna - en með verulega meiri ályktunargetu.
GPT-3 gerði notendum kleift að slá inn náttúrulegt tungumál í hagnýtum tilgangi, en það vantaði samt nokkra sérfræðiþekkingu til að hanna hvetja sem myndi skila góðum árangri. GPT-4 mun vera verulega betri í að spá fyrir um fyrirætlanir notenda.
Hverjar verða GPT-4 breyturnar?
Þrátt fyrir að vera ein af gervigreindarframförunum sem mest er beðið eftir er ekkert vitað um GPT-4: hvernig það mun líta út, hvaða eiginleika það mun hafa og hvaða kraftar það mun hafa.
Á síðasta ári gerði Altman spurningar og svör og opinberaði nokkrar upplýsingar um metnað OpenAI fyrir GPT-4. Það væri ekki stærra en GPT-3, að sögn Altman. Ólíklegt er að GPT-4 sé það mest notaða tungumálamódel. Þó að líkanið verði risastórt í samanburði við fyrri kynslóðir taugakerfi, stærð þess mun ekki vera sérkenni þess. GPT-3 og Gopher eru líklegustu frambjóðendurnir (175B-280B).
Nvidia og Megatron-Turing NLG frá Microsoft áttu metið fyrir þéttasta tauganet breytur við 530B - þrisvar sinnum hærri en GPT-3 - þar til nýlega þegar PaLM Google tók það á 540B. Það kemur á óvart að fjöldi minni gerða stóð sig betur en MT-NLG.
Samkvæmt raforkutengingu ákváðu Jared Kaplan hjá OpenAI og samstarfsmenn árið 2020 að þegar afgreiðsla fjárlagahækkana er að mestu varið í að fjölga færibreytum batnar frammistaðan mest. Google, Nvidia, Microsoft, OpenAI, DeepMind og önnur tungumálafyrirtæki fylgdu reglum hlýðni.
Altman gaf til kynna að þeir væru ekki lengur að einbeita sér að því að smíða gríðarstór gerðir, heldur að hámarka afköst smærri módel.
OpenAI vísindamenn voru snemma talsmenn stigstærðartilgátunnar, en þeir gætu hafa uppgötvað að fleiri, áður ófundnar leiðir gætu leitt til betri líkana. GPT-4 verður ekki verulega stærra en GPT-3 af þessum ástæðum.
OpenAI mun leggja meiri áherslu á aðra þætti, svo sem gögn, reiknirit, breytustillingu og röðun, sem hafa tilhneigingu til að skila verulegum ávinningi hraðar. Við verðum að bíða og sjá hvað líkan með 100T breytur getur gert.
Lykil atriði:
- Stærð líkansins: GPT-4 verður stærri en GPT-3, en ekki mikið (MT-NLG 530B og PaLM 540B). Stærð líkansins verður ómerkileg.
- Hagkvæmni: GPT-4 mun nota fleiri auðlindir en GPT-3. Það mun innleiða nýja hagkvæmni innsýn í færibreytur (ákjósanlegar hyperparameters) og skalunaraðferðir (fjöldi þjálfunartákna er jafn mikilvægur og líkan stærð).
- Fjölbreytni: GPT-4 mun aðeins geta sent og tekið á móti textaskilaboðum (ekki fjölþætt). OpenAI leitast við að ýta tungumálalíkönum að takmörkunum sínum áður en skipt er yfir í fjölþætt módel eins og DALLI 2, sem þeir spá að muni að lokum fara fram úr einmótakerfi.
- Sparsemi: GPT-4, eins og forverar hans GPT-2 og GPT-3, verður þétt líkan (allar breytur verða notaðar til að vinna úr hvaða inntak sem er). Í framtíðinni mun fámennið skipta meira máli.
- Alignment: GPT-4 mun nálgast okkur nánar en GPT-3. Það mun setja það sem það hefur lært af InstructGPT, sem var þróað með mannlegu inntaki. Samt sem áður er AI samleitni langt í land og viðleitni ætti að vera vandlega metin frekar en ýkja.
Niðurstaða
Gervi almenn greind. Það er stórt markmið, en OpenAI forritarar vinna að því að ná því. Markmið AGI er að búa til fyrirmynd eða „umboðsmann“ sem er fær um að skilja og framkvæma hvers kyns athafnir sem einstaklingur getur.
GPT-4 gæti verið næsta skref í að ná þessu markmiði og það hljómar eins og eitthvað úr vísindaskáldskaparmynd. Þú gætir verið að velta fyrir þér hversu raunhæft það er að ná AGI.
Við munum ná þessum áfanga árið 2029, að sögn Ray Kurzweil, verkfræðistjóra Google. Með þetta í huga skulum við skoða GPT-4 og afleiðingar þessa líkans dýpra þegar við komumst nær AGI (Artificial General Intelligence).
Skildu eftir skilaboð