Ripanga o Ihirangi[Huna][Whakaatu]
Ko te GPT-3, te whatunga neural nui o tenei wa, i whakaputaina i Mei 2020 e OpenAI, te whakaoho AI i hangaia e Elon Musk me Sam Altman. Ko te GPT-3 he tauira reo tapahi-mata me te 175 piriona tawhā whakaritea ki te 1,5 piriona tawhā i roto i tona mua GPT-2.
Ko te GPT-3 i pai ake i te tauira NLG Turing a Microsoft (Turing Natural Language Generation), nana i pupuri te rekoata mo te whatunga neural nui rawa atu me te 17 piriona tawhā.
Ko te tauira reo kua whakamihia, kua whakahengia, kua ata tirotirohia; kua puta ano he whakamahinga hou me te whakahihiri. Na inaianei kua puta nga korero ko te GPT-4, te putanga o muri o te OpenAI tauira reo, ka tata tonu mai.
Kua tae koe ki te waahi tika ki te hiahia koe ki te ako atu mo te GPT-4. Ka titiro hohonu tatou ki te GPT-4 i roto i tenei tuhinga, e hipoki ana i ona tawhā, me pehea te whakataurite ki etahi atu tauira, me etahi atu.
Na, He aha te GPT-4?
Kia mohio ai koe ki te whanuitanga o te GPT-4, me tino mohio tatou ki te GPT-3, tona mua. Ko te GPT-3 (Generative Pre-trained Transformer, tuatoru-whakatupuranga) he taputapu whakaputa ihirangi motuhake.
Ka whakauruhia e nga kaiwhakamahi nga raraunga ki roto i a akoranga mīhini tauira, ka taea te whakaputa i te tini o nga tuhinga e tika ana hei whakautu, e ai ki a OpenAI. Ka tino pai ake te GPT-4 ki te mahi maha i roto i nga ahuatanga o te pupuhi iti - he momo akoranga mīhini – kia tata atu nga hua ki nga hua o te tangata.
E hia rau miriona pauna te utu mo te GPT-3 ki te hanga, engari e matapaehia ana ka nui ake te utu o te GPT-4 na te mea ka rima rau whakarea te nui ake o te tauine. Ki te whakatakoto i tenei ki te tirohanga,
He maha nga ahuatanga o te GPT-4 ki nga synapses i roto i te roro. Ka whakamahia e te GPT-4 nga tikanga e rite ana ki te GPT-3, na reira, kaore i te mea he mokowhiti tauira, ka whakawhänuihia e GPT-4 nga mahi a GPT-3 i tenei wa - engari he nui ake te kaha o te whakatau.
I whakaaetia e te GPT-3 nga kaiwhakamahi ki te whakauru i te reo maori mo nga kaupapa mahi, engari me whai tohungatanga tonu ki te hoahoa i te tere ka puta he hua pai. Ka tino pai ake a GPT-4 ki te matapae i nga hiahia o nga kaiwhakamahi.
He aha nga tawhā GPT-4?
Ahakoa ko ia tetahi o nga ahunga whakamua AI e tino tatarihia ana, kaore he mea e mohiotia ana mo te GPT-4: he aha te ahua, he aha ona ahuatanga, he aha nga mana ka mau.
I tera tau, i mahi a Altman i tetahi Q&A me te whakaatu i etahi korero mo nga wawata o OpenAI mo te GPT-4. Kaore e nui ake i te GPT-3, e ai ki a Altman. Ko te GPT-4 kaore pea i te tino whakamahia tauira reo. Ahakoa ka nui te tauira ki te whakataurite ki nga reanga o mua o te ahunga taiao, e kore tona rahi e waiho hei tohu motuhake. Ko GPT-3 me Gopher nga kaitono tino pai (175B-280B).
Nvidia me Microsoft's Megatron-Turing NLG i pupuri i te rekoata mo te whatunga neural mātotoru tawhā i te 530B – e toru nga wa o te GPT-3 – tae noa ki te wa i mau ai te PaLM a Google ki te 540B. He mea whakamiharo, he maha nga tauira iti ake i te MT-NLG.
E ai ki tetahi hononga mana-ture, i whakatauhia e Jared Kaplan o OpenAI me ona hoa mahi i te tau 2020 ko te wa e piki haere ana te tahua ka whakapaua te nuinga ki te whakanui i te maha o nga tawhā, ka pai ake te mahi. Ko Google, Nvidia, Microsoft, OpenAI, DeepMind me etahi atu kamupene whakatauira reo i whai i nga ture.
I kii a Altman kua kore ratou e aro ki te hanga tauira nunui, engari ki te whakanui i nga mahi o nga tauira iti.
Ko nga Kairangahau OpenAI te hunga i tautoko wawe i te whakapae whakahiatotanga, engari kua kitea pea he taapiri, ko nga huarahi kaore i kitea i mua ka arahi ki nga tauira pai ake. Ko te GPT-4 e kore e tino nui ake i te GPT-3 mo enei take.
Ka nui ake te aro o OpenAI ki etahi atu waahanga, penei i te raraunga, te algorithms, te tawhā, me te whakahāngaitanga, ka tere ake te whakaputa hua nui. Me tatari tatou kia kite he aha te mahi a te tauira whai tawhā 100T.
Kaupapa Matua:
- Te rahi o te tauira: Ko te GPT-4 ka nui ake i te GPT-3, engari kaore i te nui (MT-NLG 530B me PaLM 540B). Ko te rahi o te tauira ka kore e kitea.
- Te arotau: Ka whakamahia e GPT-4 nga rauemi maha atu i te GPT-3. Ka whakatinanahia e ia nga tirohanga tino pai hou mo te tawhā (te tino pai o te hyperparameters) me nga tikanga tauine (he mea nui te maha o nga tohu whakangungu ki te rahi tauira).
- Te ahua maha: Ka taea e te GPT-4 anake te tuku me te whiwhi i nga karere kuputuhi (kaore i te multimodal). Ka whai a OpenAI ki te pana i nga tauira reo ki o raatau rohe i mua i te whakawhiti ki nga tauira multimodal penei DALE 2, e matapaehia ana e ratou ka nui atu i nga punaha unimodal.
- Karekau: Ko te GPT-4, he rite ki o mua GPT-2 me te GPT-3, ka noho hei tauira matotoru (ka whakamahia nga tawhā katoa ki te tukatuka i nga whakaurunga kua hoatu). I nga wa kei te heke mai, ka nui ake te waatea.
- Tīaroaro: Ka whakatata mai a GPT-4 ki a tatou i te GPT-3. Ka whakatakotohia nga mea i akohia mai i te InstructGPT, i whakawhanakehia me te whakauru tangata. Heoi ano, he tawhiti te whakakotahitanga o AI, me ata tirotirohia nga mahi, kaua e whakanuia.
Opaniraa
Artificial General Intelligence. He whainga nui, engari kei te mahi nga kaiwhakawhanake OpenAI ki te whakatutuki. Ko te whainga o te AGI he hanga tauira, he "kaiwhakahaere" ranei e kaha ana ki te mohio me te mahi i nga mahi ka taea e te tangata.
Ko te GPT-4 pea te mahi e whai ake nei ki te whakatutuki i tenei whainga, me te ahua o te ahua o te kiriata pakimaero putaiao. Kei te miharo pea koe he pehea te pono o te whiwhi AGI.
Ka eke tatou ki tenei tohu i te tau 2029, e ai ki a Ray Kurzweil, te Kaiwhakahaere Hangarau a Google. Ma tenei whakaaro, me titiro hohonu ki te GPT-4 me nga hua o tenei tauira i a tatou e tata atu ana ki te AGI (Artificial General Intelligence).
Waiho i te Reply