Table of Contents[Ferstopje][Toanje]
GPT-3, it grutte neurale netwurk fan it momint, waard yn maaie 2020 publisearre troch OpenAI, de AI opstart mei-oprjochte troch Elon Musk en Sam Altman. GPT-3 is in foaroansteand taalmodel mei 175 miljard parameters yn ferliking mei 1,5 miljard parameters yn syn foargonger GPT-2.
GPT-3 prestearre better as Microsoft's NLG Turing-model (Turing Natural Language Generation), dy't earder it rekord hie hâlden foar it grutste neurale netwurk mei 17 miljard parameters.
It taalmodel is priizge, bekritisearre en sels ûndersocht; it hat ek nij en yntrigearjend gebrûk makke. En no binne d'r rapporten dat GPT-4, de folgjende edysje fan 'e OpenAI taalmodel, sil yndie gau komme.
Jo binne oankaam by de goede side as jo mear wolle leare oer de GPT-4. Wy sille yn dit artikel yngeand nei de GPT-4 sjen, mei de parameters, hoe't it fergelike mei oare modellen, en mear.
Dus, wat is GPT-4?
Om de omfang fan GPT-4 te begripen, moatte wy earst GPT-3 begripe, syn foarrinner. GPT-3 (Generative Pre-trained Transformer, tredde-generaasje) is in autonoom ynhâld-generearjende ark.
Brûkers ynfiere gegevens yn in masine learen model, dat dêrnei massale hoemannichten relevant skriuwen kin produsearje as antwurd, neffens OpenAI. GPT-4 sil signifikant better wêze by multitasking yn betingsten mei pear shots - in soarte fan masine learen - de útkomsten noch tichter by dy fan minsken bringe.
GPT-3 kostet hûnderten miljoenen pûnen om te bouwen, mar GPT-4 wurdt foarsein folle mear te kostjen, om't it fiifhûndert kear grutter sil wêze yn skaal. Om dit yn perspektyf te setten,
GPT-4 kin safolle skaaimerken hawwe as synapsen yn it harsens. GPT-4 sil foaral deselde metoaden brûke as GPT-3, dus ynstee fan in paradigmasprong te wêzen, sil GPT-4 útwreidzje oer wat GPT-3 op it stuit berikt - mar mei signifikant gruttere konklúzjemooglikheden.
GPT-3 tastien brûkers natuerlike taal yn te fieren foar praktyske doelen, mar it hat noch wat ekspertize nedich om in prompt te ûntwerpen dy't goede resultaten soe opleverje. GPT-4 sil signifikant better wêze by it foarsizzen fan de bedoelingen fan brûkers.
Wat sille de GPT-4 parameters wêze?
Nettsjinsteande ien fan 'e meast ferwachte AI-foarútgongen, is neat bekend oer GPT-4: hoe't it der útsjen sil, hokker skaaimerken it sil hawwe, en hokker krêften it sil hawwe.
Ferline jier die Altman in Q&A en iepenbiere in pear details oer de ambysjes fan OpenAI foar GPT-4. It soe net grutter wêze as GPT-3, neffens Altman. GPT-4 is nei alle gedachten net de meast brûkte taalmodel. Hoewol't it model sil wêze enoarm yn ferliking mei eardere generaasjes fan neurale netwurken, syn grutte sil syn ûnderskiedende skaaimerk net wêze. GPT-3 en Gopher binne de meast plausibele kandidaten (175B-280B).
Nvidia en Microsoft's Megatron-Turing NLG holden it rekord foar de tichtste neurale netwurk parameters op 530B - trije kear dat fan GPT-3 - oant koartlyn doe't Google's PaLM it op 540B naam. Ferrassend, in searje mindere modellen presteare de MT-NLG.
Neffens in macht-wet ferbining, OpenAI's Jared Kaplan en kollega's bepaalden yn 2020 dat by it ferwurkjen fan budzjetferhegingen meast wurde bestege oan it fergrutsjen fan it oantal parameters, de prestaasjes it grutste ferbetterje. Google, Nvidia, Microsoft, OpenAI, DeepMind, en oare bedriuwen foar taalmodeling folgen de regeljouwing hearrich.
Altman joech oan dat se net mear konsintrearje op it bouwen fan massive modellen, mar earder op it maksimalisearjen fan de prestaasjes fan lytsere modellen.
OpenAI-ûndersikers wiene iere foarstanners fan 'e skaalhypoteze, mar se hawwe miskien ûntdutsen dat ekstra, earder net ûntdutsen paden kinne liede ta superieure modellen. GPT-4 sil om dizze redenen net signifikant grutter wêze dan GPT-3.
OpenAI sil in grutter fokus pleatse op oare aspekten, lykas gegevens, algoritmen, parameterisaasje en ôfstimming, dy't it potensjeel hawwe om rapper wichtige foardielen te leverjen. Wy moatte wachtsje en sjen wat in model mei 100T-parameters kin dwaan.
Key Points:
- Grutte fan it model: De GPT-4 sil grutter wêze as de GPT-3, mar net folle (MT-NLG 530B en PaLM 540B). De grutte fan it model sil unremarkable wêze.
- Optimaliteit: GPT-4 sil mear boarnen brûke dan GPT-3. It sil nije ynsjoch fan optimaliteit ymplementearje yn parameterisaasje (optimale hyperparameters) en skaalmetoaden (oantal trainingstokens is like wichtich as modelgrutte).
- Multimodaliteit: De GPT-4 sil allinich tekstberjochten ferstjoere en ûntfange kinne (net multimodaal). OpenAI besiket taalmodellen oant har grinzen te triuwen foardat de oergong nei multimodale modellen lykas DALE 2, dy't se foarsizze sil úteinlik unimodale systemen oertreffe.
- Sparsity: GPT-4, lykas syn foargongers GPT-2 en GPT-3, sil in ticht model wêze (alle parameters sille brûkt wurde om elke opjûne ynput te ferwurkjen). Yn de takomst wurdt sparens wichtiger.
- alignment: GPT-4 sil ús nauwer benaderje as GPT-3. It sil pleatse wat it hat leard fan InstructGPT, dat waard ûntwikkele mei minsklike ynput. Dochs is AI-konverginsje in lange wei fuort, en ynspanningen moatte foarsichtich wurde beoardiele ynstee fan oerdreaun.
Konklúzje
Artificial General Intelligence. It is in grut doel, mar OpenAI-ûntwikkelders wurkje om it te berikken. It doel fan AGI is om in model as "agint" te meitsjen dy't elke aktiviteit kin begripe en dwaan dy't in persoan kin.
GPT-4 kin de folgjende stap wêze yn it berikken fan dit doel, en it klinkt as wat út in science fiction-film. Jo kinne jo ôffreegje hoe realistysk it is om AGI te berikken.
Wy sille dizze mylpeal yn 2029 berikke, neffens Ray Kurzweil, Google's Director of Engineering. Lit ús mei dit yn gedachten in djipper sjen nei GPT-4 en de gefolgen fan dit model as wy tichter by AGI (Artificial General Intelligence) komme.
Leave a Reply