Werrej[Aħbi][Uri]
GPT-3, in-netwerk newrali kbir tal-mument, ġie ppubblikat f'Mejju 2020 minn OpenAI, l-istartjar tal-AI ko-imwaqqfa minn Elon Musk u Sam Altman. GPT-3 huwa mudell tal-lingwa avvanzata b'175 biljun parametru meta mqabbel ma' 1,5 biljun parametru fil-predeċessur tiegħu GPT-2.
GPT-3 qabeż il-mudell NLG Turing ta 'Microsoft (Turing Natural Language Generation), li qabel kien kellu r-rekord għall-akbar netwerk newrali bi 17-il biljun parametru.
Il-mudell tal-lingwa ġie mfaħħar, ikkritikat, u anke skrutinizzat; nissel ukoll użi ġodda u intriganti. U issa hemm rapporti li GPT-4, l-edizzjoni li jmiss tal-OpenAI mudell tal-lingwa, tabilħaqq se jiġu dalwaqt.
Wasalt fis-sit it-tajjeb jekk trid titgħallem aktar dwar il-GPT-4. Aħna ser inħarsu lejn il-GPT-4 fil-fond f'dan l-artikolu, li jkopri l-parametri tiegħu, kif iqabbel ma 'mudelli oħra, u aktar.
Allura, X'inhu GPT-4?
Biex nifhmu l-ambitu ta 'GPT-4, l-ewwel irridu nifhmu GPT-3, il-prekursur tiegħu. GPT-3 (Transformer Ġenerattiv imħarreġ minn qabel, it-tielet ġenerazzjoni) hija għodda awtonoma li tiġġenera l-kontenut.
L-utenti jdaħħlu dejta f'a tagħlim magna mudell, li sussegwentement jista 'jipproduċi ammonti massivi ta' kitba rilevanti bi tweġiba, skond OpenAI. GPT-4 se jkun aħjar b'mod sinifikanti fil-multitasking f'kundizzjonijiet ta 'ftit sparatura - tip ta' tagħlim magna – iġibu r-riżultati saħansitra eqreb għal dawk tal-bnedmin.
GPT-3 jiswa mijiet ta 'miljuni ta' liri biex jinbena, iżda GPT-4 huwa mbassar li jiswa b'mod sinifikanti aktar minħabba li se jkun ħames mitt darba akbar fl-iskala. Biex tpoġġi dan f'perspettiva,
GPT-4 jista 'jkollu karatteristiċi daqs sinapsi fil-moħħ. GPT-4 prinċipalment se juża l-istess metodi bħal GPT-3, għalhekk aktar milli jkun qabża paradigmatika, GPT-4 se jespandi fuq dak li jwettaq GPT-3 bħalissa - iżda b'kapaċità ta 'inferenza ferm akbar.
GPT-3 ippermetta lill-utenti jidħlu fil-lingwa naturali għal skopijiet prattiċi, iżda xorta kien jeħtieġ xi għarfien espert biex jiddisinja pront li jagħti riżultati tajbin. GPT-4 se jkun aħjar b'mod sinifikanti biex ibassar l-intenzjonijiet tal-utenti.
X'se jkunu l-parametri GPT-4?
Minkejja li huwa wieħed mill-avvanzi tal-AI l-aktar mistennija, xejn mhu magħruf dwar GPT-4: kif se jidher, liema karatteristiċi se jkollu, u liema setgħat se jkollu.
Is-sena li għaddiet, Altman għamel Q&A u żvela ftit dettalji dwar l-ambizzjonijiet ta’ OpenAI għal GPT-4. Ma jkunx akbar minn GPT-3, skond Altman. GPT-4 mhux probabbli li jkun l-aktar użat mudell tal-lingwa. Għalkemm il-mudell se jkun enormi meta mqabbel mal-ġenerazzjonijiet preċedenti ta netwerks newrali, id-daqs tiegħu mhux se jkun il-karatteristika distintiva tiegħu. GPT-3 u Gopher huma l-aktar kandidati plawsibbli (175B-280B).
Nvidia u Megatron-Turing NLG tal-Microsoft kellhom ir-rekord għall- netwerk newrali l-aktar dens parametri f'530B - tliet darbiet dak ta 'GPT-3 - sa ftit ilu meta l-PaLM ta' Google ħaduha f'540B. B'mod sorprendenti, għadd kbir ta 'mudelli inqas qabżu l-MT-NLG.
Skont konnessjoni tal-liġi tal-enerġija, Jared Kaplan ta 'OpenAI u l-kollegi ddeterminaw fl-2020 li meta ż-żidiet tal-baġit tal-ipproċessar jintefqu l-aktar fuq iż-żieda tan-numru ta' parametri, il-prestazzjoni titjieb l-akbar. Google, Nvidia, Microsoft, OpenAI, DeepMind, u kumpaniji oħra ta 'mudellar tal-lingwa segwew b'ubbidjenza r-regolamenti.
Altman indika li ma kinux għadhom jikkonċentraw fuq il-kostruzzjoni ta 'mudelli massivi, iżda pjuttost fuq il-massimizzazzjoni tal-prestazzjoni ta' mudelli iżgħar.
Ir-riċerkaturi tal-OpenAI kienu proponenti bikrija tal-ipoteżi tal-iskala, iżda setgħu skoprew li mogħdijiet addizzjonali, li qabel ma kinux skoperti, jistgħu jwasslu għal mudelli superjuri. GPT-4 mhux se jkun akbar b'mod sinifikanti minn GPT-3 għal dawn ir-raġunijiet.
OpenAI se jiffoka aktar fuq aspetti oħra, bħad-dejta, algoritmi, parametrizzazzjoni, u allinjament, li għandhom il-potenzjal li jagħtu benefiċċji sinifikanti aktar malajr. Ikollna nistennew u naraw x'jista 'jagħmel mudell b'parametri 100T.
Punti ewlenin:
- Daqs tal-mudell: Il-GPT-4 se jkun akbar mill-GPT-3, iżda mhux b'ħafna (MT-NLG 530B u PaLM 540B). Id-daqs tal-mudell mhux se jkun notevoli.
- Ottimità: GPT-4 se juża aktar riżorsi minn GPT-3. Se timplimenta għarfien ġdid dwar l-ottimalità fil-parametrizzazzjoni (iperparametri ottimali) u metodi ta’ skalar (in-numru ta’ tokens ta’ taħriġ huwa importanti daqs id-daqs tal-mudell).
- Multimodalità: Il-GPT-4 se jkun jista' biss jibgħat u jirċievi messaġġi (mhux multimodali). OpenAI tfittex li timbotta l-mudelli tal-lingwa għal-limiti tagħhom qabel ma tagħmel transizzjoni għal mudelli multimodali bħal SLAB 2, li jbassru li eventwalment se jaqbżu s-sistemi unimodali.
- Skarsità: GPT-4, bħall-predeċessuri tiegħu GPT-2 u GPT-3, se jkun mudell dens (il-parametri kollha se jkunu qed jintużaw biex jipproċessaw kwalunkwe input partikolari). Fil-futur, l-isparsity se ssir aktar importanti.
- Allinjament: GPT-4 se javviċinana aktar mill-qrib minn GPT-3. Se tpoġġi dak li tgħallem minn InstructGPT, li ġie żviluppat b'kontribut uman. Xorta waħda, il-konverġenza tal-IA għadha 'l bogħod, u l-isforzi għandhom jiġu vvalutati bir-reqqa aktar milli esaġerati.
konklużjoni
Intelliġenza Ġenerali artifiċjali. Huwa għan kbir, iżda l-iżviluppaturi tal-OpenAI qed jaħdmu biex jilħquh. L-għan ta 'AGI huwa li jinħoloq mudell jew "aġent" li kapaċi jifhem u jagħmel kwalunkwe attività li persuna tista'.
GPT-4 jista 'jkun il-pass li jmiss biex jintlaħaq dan l-għan, u tinstema' bħal xi ħaġa minn film ta' fantaxjenza. Inti tista 'tistaqsi kemm huwa realistiku li jintlaħaq AGI.
Aħna ser nilħqu dan it-tragward sal-2029, skont Ray Kurzweil, id-Direttur tal-Inġinerija ta 'Google. B'dan f'moħħna, ejja nagħtu ħarsa aktar fil-fond lejn GPT-4 u r-ramifikazzjonijiet ta 'dan il-mudell hekk kif nersqu eqreb lejn AGI (Intelliġenza Ġenerali Artifiċjali).
Ħalli Irrispondi