Google steht stets an der Spitze der KI-Forschung, nutzt seine enormen Ressourcen und beschäftigt eine beträchtliche Anzahl hochtalentierter Ingenieure. Was die Sprachmodelle angeht, kamen die Bemühungen von Google jedoch zu spät.
Da der Technologieriese Microsoft bereits von einer fruchtbaren Partnerschaft mit OpenAI profitierte, blieb Google keine andere Wahl, als aufzuholen.
Auf der diesjährigen Google I/O-Konferenz kündigte das Unternehmen seine Antwort auf das generative KI-Wettrüsten an: PaLM 2. Wird dieses neue Modell in der Leistung mit OpenAIs GPT-4 mithalten können?
Was ist PaLM 2?
Google beschreibt Palme 2 als hochmodernes Sprachmodell, das das bestehende PaLM-Modell verbessert, das erstmals im Jahr 2022 angekündigt wurde. Ähnlich wie andere Sprachmodelle ist PaLM 2 in der Lage, verschiedene Textgenerierungsaufgaben auszuführen, wie z. B. PaLM ist in der Lage, eine breite Palette von Aufgaben zu erfüllen , einschließlich der Beantwortung von Fragen, der Übersetzung von Texten, Code generieren, Und vieles mehr.
Tests haben gezeigt, dass das PaLM 2 bereits deutliche Verbesserungen aufweist und das PaLM-Modell übertrifft, obwohl es eine viel geringere Anzahl von Parametern verwendet.
PaLM 2 ist eine Modellfamilie
Wie andere Sprachmodelle handelt es sich beim PaLM 2-Projekt tatsächlich um eine Familie von Modellen unterschiedlicher Größe. Google wird das PaLM 2-Modell in vier Größen anbieten: Gecko, Otter, Bison und Unicorn.
Die Vielfalt der Größen erleichtert den Einsatz von PaLM 2 in verschiedenen Anwendungsfällen. Beispielsweise ist das Gecko-Modell so leicht, dass das gesamte Modell in ein mobiles Gerät passt und sogar offline ausgeführt werden kann.
Trainingsdatensatz von PaLM 2
Einer der wichtigsten Aspekte eines erfolgreichen Sprachmodells ist die Trainingsdatensatz. Der Trainingsdatensatz muss vielfältig genug sein, damit das Modell ein tiefes Verständnis für den Themenbereich hat, für den es entwickelt wurde.
Bei großen Sprachmodellen (LLMs) gibt es normalerweise kein bestimmtes Thema, zu dem das Modell trainieren muss. Stattdessen sind LLMs als Allzweckmodelle konzipiert, die für die Ausführung einer Vielzahl von Aufgaben geeignet sein müssen. Diese Modelle nutzen große Textdatensätze, die einen großen Teil des Webs sowie veröffentlichtes Referenzmaterial, Literatur und sogar Quellcode erfassen.
Der Hauptunterschied zwischen dem Trainingsdatensatz von PaLM 2 und anderen Modellen besteht in der Einbeziehung eines höheren Prozentsatzes nicht-englischer Daten. Nach Ihnen technischen BerichtDurch die Erweiterung des Datensatzes um nicht-englische Texte wird das Modell einer größeren Vielfalt an Sprachen und Kulturen zugänglich gemacht.
Das PaLM 2-Modell wurde auch mit parallelen mehrsprachigen Daten trainiert, um dem Modell zu helfen, die Fähigkeit zu erlangen, von einer Sprache in eine andere zu übersetzen. Die Daten umfassen Textpaare, bei denen ein Eintrag auf Englisch und der andere ein gleichwertiger Text in einer anderen Sprache ist.
Die obige Tabelle zeigt die Sprachverteilung der mehrsprachigen Webdokumente, die zum Trainieren von PaLM 2 verwendet wurden.
Hauptmerkmale von PaLM 2
Hier sind einige der Hauptbereiche, in denen sich PaLM 2 im Vergleich zu anderen Sprachmodellen auszeichnet.
Argumentation
Der Datensatz von PaLM 2 umfasst Quellen wie wissenschaftliche Arbeiten und Webinhalte mit mathematischen Ausdrücken. Dadurch erhält das Modell verbesserte Fähigkeiten in Mathematik, gesundem Menschenverstand und Logik.
Die Forscher testeten die mathematischen Denkfähigkeiten des Modells anhand von Mathematikfragen in Grund- und Oberstufenschulen und zeigten dabei vergleichbare Ergebnisse wie die mathematischen Fähigkeiten von GPT-4.
Programmierung
Die Trainingsdaten von PaLM 2 geben ihm außerdem die Möglichkeit, Code in einer Vielzahl von Programmiersprachen zu generieren. Das PALM 2-Team erstellte ein codierungsspezifisches PaLM 2-Modell namens PaLM 2-S*, das auf einem codelastigen mehrsprachigen Datensatz trainiert wurde.
Das Modell ist nicht nur in der Lage, Code zu generieren, sondern auch Aufgaben zu bewältigen, die mehrere Sprachen umfassen. Beispielsweise können Sie PaLM 2 bitten, eine Python-Sortierfunktion zu erstellen, die zeilenweise Kommentare auf Spanisch hinzufügt.
Mehrsprachigkeit
Da das Modell anhand eines Datensatzes trainiert wurde, der über 100 Sprachen umfasst, zeigt PaLM 2 Kompetenz beim Verstehen, Generieren und Übersetzen von Texten in mehreren Sprachen.
Um die Mehrsprachigkeit zu testen, testeten die Forscher das Modell anhand verschiedener Sprachtests in verschiedenen Sprachen. Die Ergebnisse zeigen, dass PaLM 2 nicht nur PaLM übertrifft, sondern auch für jede bewertete Sprache eine bestandene Note erreichte.
PaLM 2 zeigt seine Mehrsprachigkeit auch durch die Fähigkeit, Redewendungen in verschiedenen Sprachen zu verstehen, Witze zu erklären, Tippfehler zu korrigieren und sogar zu lernen, wie man formalen Text in umgangssprachlichen Chat umwandelt.
PaLM 2 unterstützt Google-Produkte
Google nutzt bereits die Vorteile von PaLM 2, indem es das Modell in andere Produkte integriert.
Barde
Die Fähigkeit des Modells, mehrsprachige Aufgaben zu bewältigen, treibt nun die Leistung von Google voran Bardenexperiment da es in über 180 Länder und Territorien expandiert.
Bard nutzt jetzt auch die Codierungsfunktionen von PaLM 2, um Programmier- und Softwareentwicklungsaufgaben wie Codegenerierung und Code-Debugging zu unterstützen.
Duet AI für Google Workspace
Google plant außerdem, generative KI-Funktionen zu seiner Google Workspace-Anwendungsgruppe hinzuzufügen. Gmail und Docs werden bald eine Funktion namens enthalten Duett KI Dies hilft dem Benutzer beim Verfassen seiner Antworten und beim Schreiben mithilfe von Eingabeaufforderungen.
Duet AI ermöglicht es Benutzern außerdem, in Google Sheets benutzerdefinierte Pläne für Aufgaben und Projekte zu erstellen, die auf den Eingabeaufforderungen des Benutzers basieren.
Zusammenfassung
Google hofft sicherlich, mit seinem PaLM 2-Sprachmodell die Lücke im Markt der KI-Sprachtools schließen zu können. Obwohl die API des Modells noch nicht öffentlich verfügbar ist, zeigen die Ergebnisse ihrer Forschung, dass das Modell wettbewerbsfähig genug ist, um mit der Leistung von GPT-4 mitzuhalten.
Angesichts der bestehenden Nutzerbasis von Google haben sie sicherlich den Vorteil einer massiven Anpassung, wenn ihre KI in ihre Dienste wie ihre Suchmaschine oder ihre Suite von Produktivitätstools integriert wird.
Hinterlassen Sie uns einen Kommentar