Inhaltsverzeechnes[Verstoppen][Show]
GPT-3, dat grousst neuralt Netzwierk vum Moment, gouf am Mee 2020 vum OpenAI, den AI Startup co-gegrënnt vum Elon Musk a Sam Altman. GPT-3 ass e modernste Sproochemodell mat 175 Milliarde Parameteren am Verglach zu 1,5 Milliarde Parameteren a sengem Virgänger GPT-2.
De GPT-3 huet de Microsoft NLG Turing Modell (Turing Natural Language Generation) iwwerschratt, dee virdru de Rekord fir dat gréissten neuralt Netzwierk mat 17 Milliarde Parameteren gehal huet.
De Sproochmodell gouf gelueft, kritiséiert a souguer iwwerpréift; et huet och nei an faszinéierend Utilisatioune gefouert. An elo ginn et Berichter datt GPT-4, déi nächst Editioun vum OpenAI Sproochmodell, wäert wierklech geschwënn kommen.
Dir sidd um richtege Site ukomm wann Dir méi iwwer de GPT-4 gewuer wëllt. Mir kucken de GPT-4 am-Déift an dësem Artikel, deckt seng Parameteren, wéi et mat anere Modeller vergläicht, a méi.
Also, wat ass GPT-4?
Fir den Ëmfang vum GPT-4 ze verstoen, musse mir als éischt GPT-3 verstoen, säi Virgänger. GPT-3 (Generative Pre-trained Transformer, drëtt Generatioun) ass en autonomt Inhaltsgeneréierend Tool.
D'Benotzer ginn Daten an eng Maschinn léieren Modell, deen duerno massiv Quantitéiten u relevant Schreiwen als Äntwert ka produzéieren, laut OpenAI. GPT-4 wäert däitlech besser sinn am Multitasking a wéineg Shot Konditiounen - eng Zort vu Maschinn léieren - d'Resultater nach méi no un déi vun de Mënschen bréngen.
GPT-3 kascht Honnerte vu Millioune Pond fir ze bauen, awer GPT-4 gëtt virausgesot däitlech méi ze kaschten well et fënnefhonnertfach méi grouss wäert sinn. Fir dëst an der Perspektiv ze setzen,
GPT-4 kann esou vill Charakteristiken hunn wéi Synapsen am Gehir. GPT-4 wäert haaptsächlech déiselwecht Methode benotzen wéi GPT-3, also anstatt e Paradigma Sprong ze sinn, wäert de GPT-4 ausbauen op dat wat GPT-3 am Moment erreecht - awer mat wesentlech méi grousser Inferenzfäegkeet.
GPT-3 huet d'Benotzer erlaabt natierlech Sprooch fir praktesch Zwecker anzeginn, awer et brauch nach ëmmer e puer Expertise fir eng Prompt ze designen déi gutt Resultater géif bréngen. GPT-4 wäert wesentlech besser sinn fir d'Intentioune vun de Benotzer virauszesoen.
Wat wäerten d'GPT-4 Parameteren sinn?
Trotz enger vun de meescht erwaarde AI Fortschrëtter ass näischt iwwer GPT-4 bekannt: wéi et wäert ausgesinn, wéi eng Charakteristiken et wäert hunn a wéi eng Muechten et wäert hunn.
D'lescht Joer huet den Altman eng Q&A gemaach an e puer Detailer iwwer OpenAI seng Ambitiounen fir GPT-4 opgedeckt. Et wier net méi grouss wéi GPT-3, laut Altman. GPT-4 ass onwahrscheinlech am meeschte benotzt ze sinn Sproochmodell. Och wann de Modell enorm am Verglach zu fréiere Generatioune vu neural Netzwierker, seng Gréisst wäert net seng ënnerscheedend Charakteristik sinn. GPT-3 a Gopher sinn déi plausibelst Kandidaten (175B-280B).
Nvidia a Microsoft's Megatron-Turing NLG hunn de Rekord fir de dichtsten neural Netzwierk Parameteren op 530B - dräimol déi vum GPT-3 - bis viru kuerzem wéi de PaLM vu Google et op 540B geholl huet. Iwwerraschend hunn eng ganz Rëtsch manner Modeller den MT-NLG iwwerschratt.
No enger Kraaftgesetzverbindung hunn den OpenAI Jared Kaplan a Kollegen am Joer 2020 festgeluecht datt wann d'Veraarbechtung vun de Budgetserhéijungen meeschtens op d'Erhéijung vun der Unzuel vun de Parameteren ausginn, d'Performance am gréissten verbessert. Google, Nvidia, Microsoft, OpenAI, DeepMind an aner Sproochmodelléierungsfirmen hunn d'Reglementer gefollegt.
Den Altman huet uginn datt si sech net méi op d'Konstruktioun vu massive Modeller konzentréieren, mee éischter op d'Performance vu méi klenge Modeller maximéieren.
OpenAI Fuerscher ware fréi Verdeedeger vun der Skaléierungshypothese, awer si hu vläicht entdeckt datt zousätzlech, virdru onentdeckte Weeër zu superior Modeller féieren. GPT-4 wäert net wesentlech méi grouss sinn wéi GPT-3 aus dëse Grënn.
OpenAI wäert e gréissere Fokus op aner Aspekter setzen, wéi Daten, Algorithmen, Parameteriséierung an Ausrichtung, déi d'Potenzial hunn bedeitend Virdeeler méi séier ze bréngen. Mir musse waarden a kucken wat e Modell mat 100T Parameteren maache kann.
Schlësseleg Punkten:
- Gréisst vum Modell: De GPT-4 wäert méi grouss sinn wéi de GPT-3, awer net vill (MT-NLG 530B a PaLM 540B). D'Gréisst vum Modell wäert onremarkabel sinn.
- Optimalitéit: GPT-4 wäert méi Ressourcen benotzen wéi GPT-3. Et wäert nei Optimalitéit Abléck an Parameteriséierung (optimal Hyperparameter) a Skala Methoden ëmsetzen (Zuel vun Training Tokens ass esou wichteg wéi Modell Gréisst).
- Multimodalitéit: De GPT-4 kann nëmmen SMSen schécken an kréien (net multimodal). OpenAI probéiert Sproochmodeller op hir Grenzen ze drécken, ier se op multimodal Modeller iwwergoen wéi DALL 2, déi se viraussoen schlussendlech unimodal Systemer iwwerschreiden.
- Sparsitéit: GPT-4, wéi seng Virgänger GPT-2 an GPT-3, wäert eng dichte Modell ginn (all Parameteren wäert benotzt ginn all uginn Input ze verschaffen). An Zukunft wäert d'Sparsitéit méi wichteg ginn.
- Formatioun: GPT-4 wäert eis méi no kommen wéi GPT-3. Et wäert setzen wat et vum InstructGPT geléiert huet, dee mat mënschlechen Input entwéckelt gouf. Wéi och ëmmer, AI Konvergenz ass wäit ewech, an Efforte solle suergfälteg bewäert ginn anstatt iwwerdriwwen.
Konklusioun
Kënschtlech Allgemeng Intelligenz. Et ass e grousst Zil, awer OpenAI Entwéckler schaffen et z'erreechen. D'Zil vun AGI ass e Modell oder "Agent" ze kreéieren deen fäeg ass all Aktivitéit ze verstoen an ze maachen déi eng Persoun kann.
GPT-4 ass vläicht den nächste Schrëtt fir dëst Zil z'erreechen, an et kléngt wéi eppes aus engem Science Fiction Film. Dir kënnt Iech froen wéi realistesch et ass AGI z'erreechen.
Mir wäerten dëse Meilesteen bis 2029 erreechen, laut Ray Kurzweil, Google's Director of Engineering. Mat dësem vergiessen, loosst eis e méi déif kucken op GPT-4 an d'Auswierkunge vun dësem Modell wéi mir méi no bei AGI kommen (Artificial General Intelligence).
Hannerlooss eng Äntwert