Enhavtabelo[Kaŝi][Montri]
GPT-3, la granda neŭrala reto de la momento, estis publikigita en majo 2020 de OpenAI, la AI-komenco kunfondita fare de Elon Musk kaj Sam Altman. GPT-3 estas avangarda lingva modelo kun 175 miliardoj da parametroj kompare kun 1,5 miliardoj da parametroj en sia antaŭulo GPT-2.
GPT-3 superis la modelon NLG Turing de Mikrosofto (Turing Natural Language Generation), kiu antaŭe tenis la rekordon por la plej granda neŭrala reto kun 17 miliardoj da parametroj.
La lingvomodelo estis laŭdata, kritikita kaj eĉ pririgardita; ĝi ankaŭ generis novajn kaj interesajn uzojn. Kaj nun estas raportoj ke GPT-4, la venonta eldono de la OpenAI lingvomodelo, ja baldaŭ venos.
Vi alvenis al la ĝusta retejo se vi volas lerni pli pri la GPT-4. Ni rigardos la GPT-4 profunde en ĉi tiu artikolo, kovrante ĝiajn parametrojn, kiel ĝi komparas kun aliaj modeloj, kaj pli.
Do, Kio estas GPT-4?
Por kompreni la amplekson de GPT-4, ni unue devas kompreni GPT-3, ĝian antaŭulon. GPT-3 (Generative Pre-Trained Transformer, triageneracia) estas aŭtonoma enhav-genera ilo.
Uzantoj enigas datumojn en a maŝinlernado modelo, kiu poste povas produkti amasajn kvantojn da koncernaj skribaĵoj en respondo, laŭ OpenAI. GPT-4 estos signife pli bona ĉe multitasking en malmultaj pafitaj kondiĉoj - speco de maŝinlernado – proksimigante la rezultojn eĉ pli al tiuj de homoj.
GPT-3 kostas centojn da milionoj da funtoj konstrui, sed GPT-4 estas antaŭvidita kosti signife pli ĉar ĝi estos kvincent fojojn pli granda en skalo. Por meti ĉi tion en perspektivo,
GPT-4 povas havi tiom da trajtoj kiel sinapsoj en la cerbo. GPT-4 plejparte utiligos la samajn metodojn kiel GPT-3, tiel prefere ol esti paradigma salto, GPT-4 vastigos tion, kion GPT-3 nuntempe plenumas - sed kun signife pli granda inferenca kapablo.
GPT-3 permesis al uzantoj eniri naturan lingvon por praktikaj celoj, sed ĝi ankoraŭ bezonis iom da kompetenteco por desegni promptilon kiu donus bonajn rezultojn. GPT-4 estos signife pli bona antaŭdiri la intencojn de uzantoj.
Kio estos la GPT-4-parametroj?
Malgraŭ esti unu el la plej atendataj AI-progresoj, nenio estas konata pri GPT-4: kiel ĝi aspektos, kiajn trajtojn ĝi havos kaj kiajn potencojn ĝi havos.
Pasintjare, Altman faris Q&A kaj malkaŝis kelkajn detalojn pri la ambicioj de OpenAI por GPT-4. Ĝi ne estus pli granda ol GPT-3, laŭ Altman. GPT-4 verŝajne ne estos la plej vaste uzata lingvomodelo. Kvankam la modelo estos grandega kompare al antaŭaj generacioj de Neŭraj retoj, ĝia grandeco ne estos ĝia distinga trajto. GPT-3 kaj Gopher estas la plej kredindaj kandidatoj (175B-280B).
Nvidia kaj Megatron-Turing NLG de Microsoft tenis la rekordon por la plej densa neŭrala reto parametroj ĉe 530B - trioble tiu de GPT-3 - ĝis lastatempe kiam PaLM de Google prenis ĝin ĉe 540B. Surprize, amaso da pli malgrandaj modeloj superis la MT-NLG.
Laŭ potenco-leĝa konekto, Jared Kaplan de OpenAI kaj kolegoj determinis en 2020, ke kiam prilaborado de buĝetpliigoj estas elspezitaj plejparte por pliigi la nombron da parametroj, rendimento plibonigas plej multe. Google, Nvidia, Microsoft, OpenAI, DeepMind kaj aliaj lingvomodelaj kompanioj obeeme sekvis la regularojn.
Altman indikis ke ili jam ne koncentriĝis pri konstruado de masivaj modeloj, sed prefere dum maksimumigado de la prezento de pli malgrandaj modeloj.
OpenAI-esploristoj estis fruaj propagandantoj de la skala hipotezo, sed ili eble malkovris ke pliaj, antaŭe nemalkovritaj vojoj povus konduki al superaj modeloj. GPT-4 ne estos signife pli granda ol GPT-3 pro ĉi tiuj kialoj.
OpenAI metos pli grandan fokuson sur aliaj aspektoj, kiel datumoj, algoritmoj, parametrigo kaj vicigo, kiuj havas la eblecon doni signifajn avantaĝojn pli rapide. Ni devos atendi kaj vidi kion povas fari modelo kun 100T parametroj.
Key Points:
- Grandeco de la modelo: La GPT-4 estos pli granda ol la GPT-3, sed ne multe (MT-NLG 530B kaj PaLM 540B). La grandeco de la modelo estos nerimarkinda.
- Optimumeco: GPT-4 uzos pli da rimedoj ol GPT-3. Ĝi efektivigos novajn optimecajn komprenojn pri parametrigo (optimumaj hiperparametroj) kaj skalmetodoj (nombro da trejnaj ĵetonoj estas same grava kiel modelgrandeco).
- Multmodaleco: La GPT-4 nur povos sendi kaj ricevi tekstmesaĝojn (ne multimodalajn). OpenAI serĉas puŝi lingvomodelojn al siaj limoj antaŭ transiro al multmodaj modeloj kiel DALE 2, kiun ili antaŭdiras poste superos unumodalajn sistemojn.
- Maldenseco: GPT-4, kiel ĝiaj antaŭuloj GPT-2 kaj GPT-3, estos densa modelo (ĉiuj parametroj estos uzataj por prilabori ajnan donitan enigaĵon). En la estonteco, maldenseco fariĝos pli grava.
- alineamiento: GPT-4 alproksimiĝos al ni pli proksime ol GPT-3. Ĝi metos tion, kion ĝi lernis de InstructGPT, kiu estis evoluigita kun homa enigo. Tamen, AI-konverĝo estas tre malproksima, kaj klopodoj devas esti zorge taksitaj prefere ol troigitaj.
konkludo
Artefarita Ĝenerala Inteligenteco. Ĝi estas granda celo, sed OpenAI-programistoj laboras por atingi ĝin. La celo de AGI estas krei modelon aŭ "agenton" kapablan kompreni kaj fari ajnan agadon, kiun homo povas.
GPT-4 eble estas la sekva paŝo por atingi ĉi tiun celon, kaj ĝi sonas kiel io el sciencfikcia filmo. Vi povus scivoli kiom realisma estas atingi AGI.
Ni trafos ĉi tiun mejloŝtonon antaŭ 2029, laŭ Ray Kurzweil, Direktoro de Inĝenieristiko de Google. Konsiderante ĉi tion, ni rigardu pli profunde al GPT-4 kaj la konsekvencoj de ĉi tiu modelo dum ni proksimiĝas al AGI (Artefarita Ĝenerala Inteligenteco).
Lasi Respondon