Inhaltsverzeichnis[Ausblenden][Zeigen]
GPT-3, das derzeit größte neuronale Netzwerk, wurde im Mai 2020 von veröffentlicht OpenAI, das von Elon Musk und Sam Altman mitbegründete KI-Startup. GPT-3 ist ein hochmodernes Sprachmodell mit 175 Milliarden Parametern im Vergleich zu 1,5 Milliarden Parametern im Vorgänger GPT-2.
GPT-3 übertraf Microsofts NLG Turing-Modell (Turing Natural Language Generation), das zuvor mit 17 Milliarden Parametern den Rekord für das größte neuronale Netzwerk gehalten hatte.
Das Sprachmodell wurde gelobt, kritisiert und sogar hinterfragt; es hat auch neue und faszinierende Anwendungen hervorgebracht. Und jetzt gibt es Berichte, dass GPT-4 die nächste Ausgabe von OpenAI ist Sprachmodell, wird in der Tat bald kommen.
Sie sind auf der richtigen Seite angekommen, wenn Sie mehr über den GPT-4 erfahren möchten. Wir werden uns den GPT-4 in diesem Artikel eingehend ansehen und seine Parameter, seinen Vergleich mit anderen Modellen und mehr behandeln.
Also, was ist GPT-4?
Um den Umfang von GPT-4 zu verstehen, müssen wir zuerst GPT-3, seinen Vorläufer, verstehen. GPT-3 (Generative Pre-trained Transformer, dritte Generation) ist ein autonomes Werkzeug zur Generierung von Inhalten.
Benutzer geben Daten in a ein Maschinelles Lernen Modell, das laut OpenAI anschließend riesige Mengen an relevantem Schreiben als Antwort produzieren kann. GPT-4 wird beim Multitasking unter Bedingungen mit wenigen Aufnahmen deutlich besser sein – eine Art von Maschinelles Lernen – die Ergebnisse noch näher an die des Menschen bringen.
Der Bau von GPT-3 kostet Hunderte Millionen Pfund, aber GPT-4 wird voraussichtlich erheblich mehr kosten, da es fünfhundert Mal größer sein wird. Um dies ins rechte Licht zu rücken,
GPT-4 kann so viele Eigenschaften haben wie Synapsen im Gehirn. GPT-4 wird hauptsächlich die gleichen Methoden wie GPT-3 verwenden, daher wird GPT-4, anstatt ein Paradigmensprung zu sein, das erweitern, was GPT-3 derzeit leistet – aber mit deutlich größerer Inferenzfähigkeit.
GPT-3 ermöglichte es Benutzern, natürliche Sprache für praktische Zwecke einzugeben, aber es erforderte noch etwas Fachwissen, um eine Eingabeaufforderung zu entwerfen, die gute Ergebnisse erzielen würde. GPT-4 wird deutlich besser darin sein, die Absichten der Benutzer vorherzusagen.
Was werden die GPT-4-Parameter sein?
Obwohl es sich um einen der am meisten erwarteten KI-Fortschritte handelt, ist nichts über GPT-4 bekannt: wie es aussehen wird, welche Eigenschaften es haben wird und welche Kräfte es haben wird.
Letztes Jahr hat Altman ein Q&A durchgeführt und ein paar Details über die Ambitionen von OpenAI für GPT-4 enthüllt. Laut Altman wäre es nicht größer als GPT-3. GPT-4 ist wahrscheinlich nicht das am weitesten verbreitete Sprachmodell. Obwohl das Modell im Vergleich zu früheren Generationen riesig sein wird Neuronale Netze, seine Größe wird nicht sein Unterscheidungsmerkmal sein. GPT-3 und Gopher sind die plausibelsten Kandidaten (175B-280B).
Nvidia und Microsofts Megatron-Turing NLG hielten den Rekord für die dichtestes neuronales Netz Parameter bei 530B – dreimal so hoch wie bei GPT-3 – bis vor kurzem, als Googles PaLM es bei 540B nahm. Überraschenderweise übertraf eine Reihe kleinerer Modelle das MT-NLG.
Gemäß einer Potenzgesetz-Verbindung stellten Jared Kaplan und Kollegen von OpenAI im Jahr 2020 fest, dass, wenn Erhöhungen des Verarbeitungsbudgets hauptsächlich für die Erhöhung der Anzahl von Parametern ausgegeben werden, die Leistung am stärksten verbessert wird. Google, Nvidia, Microsoft, OpenAI, DeepMind und andere Sprachmodellierungsunternehmen haben sich gehorsam an die Vorschriften gehalten.
Altman gab an, dass sie sich nicht mehr auf den Bau massiver Modelle konzentrierten, sondern darauf, die Leistung kleinerer Modelle zu maximieren.
OpenAI-Forscher waren frühe Befürworter der Skalierungshypothese, aber sie haben möglicherweise entdeckt, dass zusätzliche, bisher unentdeckte Wege zu überlegenen Modellen führen könnten. GPT-4 wird aus diesen Gründen nicht wesentlich größer sein als GPT-3.
OpenAI wird einen stärkeren Fokus auf andere Aspekte wie Daten, Algorithmen, Parametrisierung und Ausrichtung legen, die das Potenzial haben, schneller signifikante Vorteile zu erzielen. Wir müssen abwarten, was ein Modell mit 100T-Parametern leisten kann.
Die wichtigsten Punkte:
- Größe des Modells: Das GPT-4 wird größer sein als das GPT-3, aber nicht viel (MT-NLG 530B und PaLM 540B). Die Größe des Modells wird unauffällig sein.
- Optimalität: GPT-4 verbraucht mehr Ressourcen als GPT-3. Es wird neue Erkenntnisse zur Optimalität in Parametrisierung (optimale Hyperparameter) und Skalierungsmethoden implementieren (Anzahl der Trainingstoken ist ebenso wichtig wie Modellgröße).
- Multimodalität: Das GPT-4 kann nur Textnachrichten senden und empfangen (nicht multimodal). OpenAI versucht, Sprachmodelle an ihre Grenzen zu bringen, bevor sie zu multimodalen Modellen wie z DEL 2, von dem sie vorhersagen, dass es schließlich unimodale Systeme übertreffen wird.
- Sparsamkeit: GPT-4 wird, wie seine Vorgänger GPT-2 und GPT-3, ein dichtes Modell sein (alle Parameter werden verwendet, um jede gegebene Eingabe zu verarbeiten). In Zukunft wird Sparsity an Bedeutung gewinnen.
- Ausrichtung: GPT-4 wird uns näher kommen als GPT-3. Es wird das einbringen, was es von InstructGPT gelernt hat, das mit menschlichem Input entwickelt wurde. Dennoch ist die KI-Konvergenz noch in weiter Ferne, und die Bemühungen sollten sorgfältig geprüft und nicht übertrieben werden.
Zusammenfassung
Künstliche allgemeine Intelligenz. Das ist ein großes Ziel, aber OpenAI-Entwickler arbeiten daran, es zu erreichen. Das Ziel von AGI ist es, ein Modell oder einen „Agenten“ zu schaffen, der in der Lage ist, jede Aktivität zu verstehen und auszuführen, die eine Person kann.
GPT-4 könnte der nächste Schritt sein, um dieses Ziel zu erreichen, und es klingt wie etwas aus einem Science-Fiction-Film. Sie fragen sich vielleicht, wie realistisch es ist, AGI zu erreichen.
Laut Ray Kurzweil, Director of Engineering bei Google, werden wir diesen Meilenstein bis 2029 erreichen. Lassen Sie uns vor diesem Hintergrund einen tieferen Blick auf GPT-4 und die Auswirkungen dieses Modells werfen, wenn wir uns AGI (Artificial General Intelligence) nähern.
Hinterlassen Sie uns einen Kommentar