Table of Contents[Hide][Show]
GPT-3, qhov loj neural network ntawm lub sijhawm, tau tshaj tawm thaum lub Tsib Hlis 2020 los ntawm OpenAI, AI startup co-founded los ntawm Elon Musk thiab Sam Altman. GPT-3 yog cov qauv lus tshaj plaws nrog 175 billion tsis piv rau 1,5 billion tsis nyob hauv nws cov thawj coj GPT-2.
GPT-3 outperformed Microsoft's NLG Turing qauv (Turing Natural Language Generation), uas yav tas los tuav cov ntaub ntawv rau qhov loj tshaj neural network nrog 17 billion tsis.
Cov qauv lus tau raug qhuas, thuam, thiab txawm raug tshuaj xyuas; nws kuj tau spawned tshiab thiab intriguing siv. Thiab tam sim no muaj cov lus ceeb toom tias GPT-4, ib tsab ntawv tom ntej ntawm OpenAI qauv lus, yeej yuav los sai sai no.
Koj tau tuaj txog ntawm qhov chaw zoo yog tias koj xav paub ntxiv txog GPT-4. Peb mam li saib GPT-4 qhov tob hauv kab lus no, npog nws cov kev txwv, nws piv li cas rau lwm tus qauv, thiab ntau dua.
Yog li, GPT-4 yog dab tsi?
Yuav kom nkag siab txog qhov Scope ntawm GPT-4, peb yuav tsum xub nkag siab GPT-3, nws qhov ua ntej. GPT-3 (Generative Pre-trained Transformer, thib peb-tiam) yog ib qho khoom siv tsim cov ntsiab lus autonomous.
Cov neeg siv sau cov ntaub ntawv rau hauv a tshuab kev kawm qauv, uas tom qab ntawd tuaj yeem tsim cov ntawv sau tseem ceeb hauv cov lus teb, raws li OpenAI. GPT-4 yuav ua tau zoo dua ntawm kev ua haujlwm ntau hauv ob peb qhov kev txhaj tshuaj - ib hom tshuab kev kawm - nqa cov txiaj ntsig tau los ze zog rau cov tib neeg.
GPT-3 raug nqi ntau pua lab phaus los tsim, tab sis GPT-4 tau kwv yees tias yuav raug nqi ntau dua vim tias nws yuav ntau dua tsib puas npaug ntawm qhov ntsuas. Txhawm rau muab qhov no rau qhov kev xav,
GPT-4 tej zaum yuav muaj ntau yam zoo li synapses hauv lub hlwb. GPT-4 feem ntau yuav siv tib txoj hauv kev raws li GPT-3, yog li tsis yog qhov kev hloov pauv, GPT-4 yuav nthuav dav rau qhov GPT-3 tam sim no ua tiav - tab sis muaj peev xwm loj dua qhov kev xav.
GPT-3 tso cai rau cov neeg siv nkag mus rau cov lus ntuj rau lub hom phiaj siv tau, tab sis nws tseem xav tau qee qhov kev txawj ntse los tsim cov lus qhia uas yuav ua rau cov txiaj ntsig zoo. GPT-4 yuav ua tau zoo dua ntawm kev kwv yees lub hom phiaj ntawm cov neeg siv.
Yuav ua li cas yog GPT-4 parameters?
Txawm hais tias nws yog ib qho ntawm cov kev vam meej tshaj plaws AI kev nce qib, tsis muaj dab tsi paub txog GPT-4: nws yuav zoo li cas, nws yuav muaj dab tsi, thiab nws yuav muaj hwj chim dab tsi.
Xyoo tas los, Altman tau ua Q&A thiab qhia qee cov ntsiab lus hais txog OpenAI lub hom phiaj rau GPT-4. Nws yuav tsis loj dua GPT-3, raws li Altman. GPT-4 tsis zoo li yuav siv ntau tshaj plaws qauv lus. Txawm hais tias tus qauv yuav loj loj nyob rau hauv kev sib piv rau yav dhau los tiam ntawm neural networks, nws qhov loj me yuav tsis yog nws tus yam ntxwv txawv. GPT-3 thiab Gopher yog cov neeg sib tw tshaj plaws (175B-280B).
Nvidia thiab Microsoft's Megatron-Turing NLG tuav cov ntaub ntawv rau densest neural network tsis ntev los no ntawm 530B - peb npaug ntawm GPT-3 - txog thaum tsis ntev los no thaum Google's PaLM coj nws ntawm 540B. Kuj ceeb tias, ib qho ntawm cov qauv qis dua tau ua tiav MT-NLG.
Raws li txoj cai lij choj kev sib txuas ntawm lub hwj chim, OpenAI's Jared Kaplan thiab cov npoj yaig tau txiav txim siab xyoo 2020 tias thaum ua cov peev nyiaj nce ntxiv yog siv feem ntau ntawm kev nce tus lej, kev ua haujlwm tau zoo tshaj plaws. Google, Nvidia, Microsoft, OpenAI, DeepMind, thiab lwm lub tuam txhab ua qauv lus tau ua raws li cov cai.
Altman tau qhia tias lawv tsis tau tsom mus rau kev tsim cov qauv loj, tab sis ua rau kev ua kom zoo tshaj plaws ntawm cov qauv me.
Cov kws tshawb fawb OpenAI yog cov neeg txhawb nqa thaum ntxov ntawm qhov ntsuas qhov ntsuas, tab sis lawv yuav tau tshawb pom tias cov kev ntxiv, yav dhau los tsis tau pom dua tuaj yeem ua rau cov qauv zoo dua. GPT-4 yuav tsis loj dua GPT-3 vim li no.
OpenAI yuav ua kom pom tseeb dua rau lwm yam, xws li cov ntaub ntawv, algorithms, parameterization, thiab kev sib raug zoo, uas muaj peev xwm ua tau txiaj ntsig zoo dua sai dua. Peb yuav tau tos thiab saib seb tus qauv nrog 100T tsis tuaj yeem ua tau.
Cov Ntsiab Lus Tseem Ceeb:
- Qhov loj ntawm tus qauv: GPT-4 yuav loj dua GPT-3, tab sis tsis ntau (MT-NLG 530B thiab PaLM 540B). Tus qauv qhov luaj li cas yuav yog unremarkable.
- Kev ua tau zoo: GPT-4 yuav siv cov peev txheej ntau dua li GPT-3. Nws yuav siv cov kev pom zoo tshiab rau hauv parameterization (zoo hyperparameters) thiab scaling txoj kev (tus naj npawb ntawm kev cob qhia tokens tseem ceeb npaum li tus qauv loj).
- Multimodality: GPT-4 tsuas tuaj yeem xa thiab tau txais cov ntawv xov xwm (tsis yog multimodal). OpenAI nrhiav kev thawb cov qauv lus rau lawv cov kev txwv ua ntej hloov mus rau ntau hom qauv zoo li DAWS 2, uas lawv kwv yees thaum kawg yuav dhau ntawm cov txheej txheem unimodal.
- Sparity: GPT-4, zoo li nws cov neeg ua ntej GPT-2 thiab GPT-3, yuav yog tus qauv ntom ntom (txhua qhov kev txwv yuav raug siv los ua cov khoom nkag). Nyob rau hauv lub neej yav tom ntej, sparity yuav dhau los ua qhov tseem ceeb.
- Tuab si lug: GPT-4 yuav ze rau peb ntau dua li GPT-3. Nws yuav muab qhov nws tau kawm los ntawm InstructGPT, uas tau tsim nrog tib neeg cov tswv yim. Txawm li cas los xij, AI convergence yog ib txoj hauv kev ntev, thiab kev siv zog yuav tsum tau ua tib zoo soj ntsuam es tsis yog exaggerated.
xaus
Artificial txawj ntse. Nws yog lub hom phiaj loj, tab sis OpenAI cov neeg tsim khoom ua haujlwm kom ua tiav nws. Lub hom phiaj ntawm AGI yog los tsim tus qauv lossis "tus neeg sawv cev" muaj peev xwm nkag siab thiab ua txhua yam haujlwm uas tus neeg tuaj yeem ua tau.
GPT-4 tej zaum yuav yog kauj ruam tom ntej ntawm kev ua tiav lub hom phiaj no, thiab nws zoo li ib yam dab tsi tawm ntawm cov yeeb yaj kiab kev tshawb fawb. Koj tuaj yeem xav paub tias nws muaj tseeb npaum li cas kom tau txais AGI.
Peb yuav ua qhov tseem ceeb no los ntawm 2029, raws li Ray Kurzweil, Google Tus Thawj Coj ntawm Engineering. Nrog rau qhov no hauv siab, cia peb saib tob dua ntawm GPT-4 thiab cov txiaj ntsig ntawm cov qauv no thaum peb tau los ze zog rau AGI (Artificial General Intelligence).
Sau ntawv cia Ncua