Atọka akoonu[Fipamọ][Ifihan]
GPT-3, nẹtiwọọki nkankikan nla ti akoko, ni a tẹjade ni Oṣu Karun ọdun 2020 nipasẹ OpenAI, Ibẹrẹ AI ti o da nipasẹ Elon Musk ati Sam Altman. GPT-3 jẹ awoṣe ede gige-eti pẹlu awọn aye-aye bilionu 175 ni akawe si awọn ayeraye bilionu 1,5 ni GPT-2 iṣaaju rẹ.
GPT-3 ju awoṣe NLG Turing Microsoft ti Microsoft (Turing Natural Language Generation), eyiti o ti ṣe igbasilẹ tẹlẹ fun nẹtiwọọki nkankikan ti o tobi julọ pẹlu awọn aye bilionu 17.
A ti yìn àwòkọ́ èdè náà, tí wọ́n ṣe lámèyítọ́, tí wọ́n tilẹ̀ yẹ̀ wò; o ti tun spawn titun ati ki o iditẹ ipawo. Ati nisisiyi awọn ijabọ wa ti GPT-4, atẹle ti OpenAI awoṣe ede, nitootọ yoo wa laipẹ.
O ti de aaye ti o tọ ti o ba fẹ lati ni imọ siwaju sii nipa GPT-4. A yoo wo GPT-4 ni-ijinle ninu nkan yii, ni wiwa awọn aye rẹ, bii o ṣe afiwe si awọn awoṣe miiran, ati diẹ sii.
Nitorina, Kini GPT-4?
Lati loye ipari ti GPT-4, a gbọdọ kọkọ loye GPT-3, iṣaju rẹ. GPT-3 (Amunawa ti a ti kọ-iṣaaju ti ipilẹṣẹ, iran-kẹta) jẹ ohun elo iṣelọpọ akoonu adase.
Awọn olumulo tẹ data sinu kan imudani ẹrọ awoṣe, eyiti o le ṣe agbejade awọn oye pupọ ti kikọ ti o yẹ ni esi, ni ibamu si OpenAI. GPT-4 yoo dara julọ ni pataki ni multitasking ni awọn ipo ibọn diẹ - iru kan imudani ẹrọ - mu awọn abajade paapaa sunmọ ti eniyan.
GPT-3 n san awọn ọgọọgọrun awọn miliọnu awọn poun lati kọ, ṣugbọn GPT-4 jẹ asọtẹlẹ lati na ni pataki diẹ sii nitori yoo jẹ igba ọgọrun marun tobi ni iwọn. Lati fi eyi sinu irisi,
GPT-4 le ni awọn abuda pupọ bi awọn synapses ninu ọpọlọ. GPT-4 yoo lo awọn ọna kanna gẹgẹbi GPT-3, nitorinaa dipo jijẹ fifo paradigm, GPT-4 yoo faagun lori kini GPT-3 n ṣe lọwọlọwọ - ṣugbọn pẹlu agbara inira ti o tobi pupọ.
GPT-3 gba awọn olumulo laaye lati tẹ ede adayeba fun awọn idi iṣe, ṣugbọn o tun nilo imọ-jinlẹ diẹ lati ṣe apẹrẹ kan ti yoo mu awọn abajade to dara jade. GPT-4 yoo dara ni pataki ni asọtẹlẹ awọn ero ti awọn olumulo.
Kini yoo jẹ awọn paramita GPT-4?
Bi o ti jẹ pe o jẹ ọkan ninu awọn ilọsiwaju AI ti a ti nreti pupọ julọ, ko si ohun ti a mọ nipa GPT-4: kini yoo dabi, iru awọn abuda ti yoo ni, ati awọn agbara wo ni yoo ni.
Ni ọdun to kọja, Altman ṣe Q&A kan ati ṣafihan awọn alaye diẹ nipa awọn ireti OpenAI fun GPT-4. Kii yoo tobi ju GPT-3, ni ibamu si Altman. GPT-4 ko ṣeeṣe lati jẹ lilo pupọ julọ awoṣe ede. Biotilejepe awọn awoṣe yoo jẹ tobi ni lafiwe si išaaju iran ti awọn nẹtiwọki ti nhu, iwọn rẹ kii yoo jẹ ẹya iyasọtọ rẹ. GPT-3 ati Gopher jẹ awọn oludije ti o ṣeeṣe julọ (175B-280B).
Nvidia ati Microsoft's Megatron-Turing NLG ṣe igbasilẹ fun awọn densest nkankikan nẹtiwọki paramita ni 530B - ni igba mẹta ti GPT-3 - titi di aipẹ nigbati Google's PaLM mu ni 540B. Iyalenu, pipa ti awọn awoṣe ti o kere ju MT-NLG lọ.
Gẹgẹbi asopọ ofin-agbara kan, OpenAI's Jared Kaplan ati awọn ẹlẹgbẹ pinnu ni ọdun 2020 pe nigbati awọn ilọsiwaju iṣuna ṣiṣe jẹ lilo pupọ julọ lori jijẹ nọmba awọn aye, iṣẹ ṣiṣe dara julọ. Google, Nvidia, Microsoft, OpenAI, DeepMind, ati awọn ile-iṣẹ awoṣe-ede miiran ṣe igbọràn tẹle awọn ilana naa.
Altman fihan pe wọn ko ni idojukọ lori kikọ awọn awoṣe nla, ṣugbọn dipo mimu iṣẹ ṣiṣe ti awọn awoṣe kere ju.
Awọn oniwadi OpenAI jẹ awọn olufojusi ni kutukutu ti ile-aye igbelosoke, ṣugbọn wọn le ti ṣe awari pe afikun, awọn ọna ti a ko rii tẹlẹ le ja si awọn awoṣe giga julọ. GPT-4 kii yoo tobi pupọ ju GPT-3 fun awọn idi wọnyi.
OpenAI yoo gbe idojukọ nla si awọn aaye miiran, gẹgẹbi data, awọn algoridimu, parameterization, ati titete, eyiti o ni agbara lati mu awọn anfani pataki jade ni yarayara. A yoo ni lati duro ati wo kini awoṣe pẹlu awọn aye 100T le ṣe.
Key Points:
- Iwọn ti awoṣe: GPT-4 yoo tobi ju GPT-3, ṣugbọn kii ṣe nipasẹ pupọ (MT-NLG 530B ati PaLM 540B). Iwọn awoṣe yoo jẹ aibikita.
- Ti o dara ju: GPT-4 yoo lo awọn ohun elo diẹ sii ju GPT-3. Yoo ṣe imuse awọn oye aipe tuntun sinu paramita (awọn hyperparameters ti o dara julọ) ati awọn ọna iwọn (nọmba awọn ami ikẹkọ jẹ pataki bi iwọn awoṣe).
- Multimodality: GPT-4 yoo ni anfani lati firanṣẹ ati gba awọn ifọrọranṣẹ nikan (kii ṣe multimodal). OpenAI n wa lati Titari awọn awoṣe ede si awọn opin wọn ṣaaju gbigbe si awọn awoṣe multimodal bii DALLE 2, eyiti wọn sọtẹlẹ yoo kọja awọn eto unimodal nikẹhin.
- Sparsity: GPT-4, bi awọn oniwe-predecessors GPT-2 ati GPT-3, yoo jẹ a ipon awoṣe (gbogbo awọn sile yoo wa ni lilo lati ilana eyikeyi fi fun input). Ni ojo iwaju, sparity yoo di pataki diẹ sii.
- titete: GPT-4 yoo sunmọ wa siwaju sii ni pẹkipẹki ju GPT-3. Yoo fi ohun ti o ti kọ lati InstructGPT, eyiti a ṣe idagbasoke pẹlu igbewọle eniyan. Sibẹsibẹ, isomọ AI jẹ ọna ti o jinna, ati pe awọn akitiyan yẹ ki o ṣe ayẹwo ni pẹkipẹki kuku ju asọtẹlẹ.
ipari
Orík General General General. Idi nla ni, ṣugbọn awọn olupilẹṣẹ OpenAI n ṣiṣẹ lati ṣaṣeyọri rẹ. Ibi-afẹde ti AGI ni lati ṣẹda awoṣe tabi “aṣoju” ti o lagbara lati ni oye ati ṣiṣe eyikeyi iṣẹ ti eniyan le.
GPT-4 le jẹ igbesẹ ti o tẹle ni iyọrisi ete yii, ati pe o dabi ohun kan lati inu fiimu itan-akọọlẹ imọ-jinlẹ. O le ṣe iyalẹnu bawo ni o ṣe jẹ otitọ lati ni AGI.
A yoo kọlu iṣẹlẹ pataki yii ni ọdun 2029, ni ibamu si Ray Kurzweil, Oludari Imọ-ẹrọ Google. Pẹlu eyi ni lokan, jẹ ki a ṣe akiyesi jinlẹ ni GPT-4 ati awọn ramifications ti awoṣe yii bi a ṣe n sunmọ AGI (Oye Oye Gbogbogbo ti Artificial).
Fi a Reply