Orodha ya Yaliyomo[Ficha][Onyesha]
GPT-3, mtandao mkubwa wa neva wa sasa, ulichapishwa mnamo Mei 2020 na OpenAI, AI iliyoanzishwa kwa pamoja na Elon Musk na Sam Altman. GPT-3 ni muundo wa kisasa wa lugha na vigezo bilioni 175 ikilinganishwa na vigezo bilioni 1,5 katika mtangulizi wake GPT-2.
GPT-3 ilifanya vyema zaidi muundo wa Microsoft wa NLG Turing (Turing Natural Language Generation), ambao hapo awali ulikuwa umeshikilia rekodi ya mtandao mkubwa zaidi wa neva wenye vigezo bilioni 17.
Kielelezo cha lugha kimesifiwa, kimechambuliwa, na hata kuchunguzwa; pia imetoa matumizi mapya na ya kuvutia. Na sasa kuna ripoti kwamba GPT-4, toleo la pili la OpenAI mfano wa lugha, hakika itakuja hivi karibuni.
Umefika kwenye tovuti inayofaa ikiwa ungependa kujifunza zaidi kuhusu GPT-4. Tutaangalia GPT-4 kwa kina katika makala hii, inayofunika vigezo vyake, jinsi inavyolinganisha na mifano mingine, na zaidi.
Kwa hivyo, GPT-4 ni nini?
Ili kuelewa upeo wa GPT-4, lazima kwanza tuelewe GPT-3, mtangulizi wake. GPT-3 (Generative Pre-trained Transformer, kizazi cha tatu) ni zana inayojitegemea ya kuzalisha maudhui.
Watumiaji huingiza data kwenye a mashine kujifunza model, ambayo inaweza baadaye kutoa idadi kubwa ya maandishi yanayofaa kujibu, kulingana na OpenAI. GPT-4 itakuwa bora zaidi katika kufanya kazi nyingi katika hali ya risasi chache - aina ya mashine kujifunza - kuleta matokeo karibu zaidi na yale ya wanadamu.
GPT-3 inagharimu mamia ya mamilioni ya pauni kujenga, lakini GPT-4 inatabiriwa kugharimu zaidi kwa sababu itakuwa kubwa mara mia tano kwa kiwango. Ili kuweka hili katika mtazamo,
GPT-4 inaweza kuwa na sifa nyingi kama sinepsi kwenye ubongo. GPT-4 itatumia mbinu zile zile kama GPT-3, kwa hivyo badala ya kuwa kiwango kikubwa cha dhana, GPT-4 itapanua kile ambacho GPT-3 inatimiza kwa sasa - lakini kwa uwezo mkubwa zaidi wa kuelekeza.
GPT-3 iliruhusu watumiaji kuingiza lugha asilia kwa madhumuni ya vitendo, lakini bado ilihitaji utaalamu fulani ili kubuni kidokezo ambacho kingeleta matokeo mazuri. GPT-4 itakuwa bora zaidi katika kutabiri nia ya watumiaji.
Vigezo vya GPT-4 vitakuwa nini?
Licha ya kuwa mojawapo ya maendeleo yanayosubiriwa kwa wingi na AI, hakuna kinachojulikana kuhusu GPT-4: itakuwaje, itakuwa na sifa gani, na nguvu gani itakuwa nayo.
Mwaka jana, Altman alifanya Maswali na Majibu na akafichua maelezo machache kuhusu matarajio ya OpenAI kwa GPT-4. Haitakuwa kubwa kuliko GPT-3, kulingana na Altman. GPT-4 haiwezekani kuwa ndiyo inayotumika sana mfano wa lugha. Ingawa mfano huo utakuwa mkubwa kwa kulinganisha na vizazi vilivyopita vya mitandao ya neural, ukubwa wake hautakuwa sifa yake tofauti. GPT-3 na Gopher ndio watahiniwa wanaokubalika zaidi (175B-280B).
Nvidia na Microsoft's Megatron-Turing NLG ilishikilia rekodi ya mtandao mnene zaidi wa neva vigezo vya 530B - mara tatu ya ile ya GPT-3 - hadi hivi majuzi wakati PaLM ya Google ilipoichukua kwa 540B. Jambo la kushangaza ni kwamba baadhi ya wanamitindo wa chini zaidi walifanya kazi vizuri kuliko MT-NLG.
Kulingana na muunganisho wa sheria ya mamlaka, Jared Kaplan wa OpenAI na wenzake waliamua mnamo 2020 kwamba wakati ongezeko la bajeti la usindikaji linatumiwa zaidi katika kuongeza idadi ya vigezo, utendakazi huboresha zaidi. Google, Nvidia, Microsoft, OpenAI, DeepMind, na kampuni zingine za uigaji lugha zilifuata kanuni kwa utiifu.
Altman alionyesha kuwa hawakuwa wakizingatia tena kuunda miundo mikubwa zaidi, bali kuboresha utendaji wa miundo midogo zaidi.
Watafiti wa OpenAI walikuwa watetezi wa mapema wa nadharia ya kuongeza kiwango, lakini wanaweza kuwa wamegundua kuwa njia za ziada, ambazo hazijagunduliwa hapo awali zinaweza kusababisha mifano bora. GPT-4 haitakuwa kubwa zaidi kuliko GPT-3 kwa sababu hizi.
OpenAI itazingatia zaidi vipengele vingine, kama vile data, algoriti, kuweka vigezo na upatanishi, ambavyo vinaweza kuleta manufaa makubwa kwa haraka zaidi. Itabidi tungojee na tuone ni nini kielelezo kilicho na vigezo vya 100T kinaweza kufanya.
Pole muhimu:
- Ukubwa wa mfano: GPT-4 itakuwa kubwa kuliko GPT-3, lakini si kwa kiasi (MT-NLG 530B na PaLM 540B). Ukubwa wa mfano hautakuwa wa kushangaza.
- Optimality: GPT-4 itatumia rasilimali nyingi kuliko GPT-3. Itatekeleza maarifa mapya ya ubora katika uwekaji vigezo (vigezo bora zaidi) na mbinu za kuongeza alama (idadi ya tokeni za mafunzo ni muhimu kama saizi ya mfano).
- Multimodality: GPT-4 itaweza kutuma na kupokea ujumbe wa maandishi pekee (sio multimodal). OpenAI inalenga kusukuma miundo ya lugha kwa mipaka yao kabla ya kuhamia miundo mingi kama vile DALLE 2, ambayo wanatabiri hatimaye itapita mifumo isiyo ya kawaida.
- Sparsity: GPT-4, kama watangulizi wake GPT-2 na GPT-3, itakuwa kielelezo mnene (vigezo vyote vitatumika kuchakata ingizo lolote). Katika siku zijazo, sparsity itakuwa muhimu zaidi.
- Alignment: GPT-4 itatukaribia kwa karibu zaidi kuliko GPT-3. Itaweka kile ambacho imejifunza kutoka kwa InstructGPT, ambayo ilitengenezwa kwa mchango wa binadamu. Bado, muunganisho wa AI uko mbali, na juhudi zinapaswa kutathminiwa kwa uangalifu badala ya kutiwa chumvi.
Hitimisho
Artificial General Intelligence. Ni lengo kubwa, lakini watengenezaji OpenAI wanafanya kazi ili kulifanikisha. Lengo la AGI ni kuunda mfano au "wakala" mwenye uwezo wa kuelewa na kufanya shughuli yoyote ambayo mtu anaweza.
GPT-4 inaweza kuwa hatua inayofuata katika kufikia lengo hili, na inaonekana kama filamu ya uongo ya kisayansi. Unaweza kuwa unashangaa jinsi ilivyo kweli kupata AGI.
Tutafikia hatua hii muhimu kufikia 2029, kulingana na Ray Kurzweil, Mkurugenzi wa Uhandisi wa Google. Tukiwa na hili akilini, hebu tuangalie kwa kina GPT-4 na umuhimu wa modeli hii tunapokaribia AGI (Ujasusi Mkuu Bandia).
Acha Reply