Google は、膨大なリソースを活用し、優秀なエンジニアを多数雇用し、一貫して AI 研究の最前線に立ち続けています。 しかし、言語モデルに関しては、Google の取り組みは後発でした。
テクノロジー大手のマイクロソフトはすでにOpenAIとの実りあるパートナーシップの恩恵を受けており、Googleには追いつく以外に選択肢はなかった。
今年の Google I/O カンファレンスで、同社は生成 AI 軍拡競争に対する答えである PaLM 2 を発表しました。この新しいモデルは、OpenAI の GPT-4 と同等のパフォーマンスを発揮するでしょうか?
PaLM2とは何ですか?
Googleが説明する パルム2 2022 年に初めて発表された既存の PaLM モデルを改良した最先端の言語モデルとして。他の言語モデルと同様に、PaLM 2 はさまざまなテキスト生成タスクを実行できます。PaLM は幅広いタスクが可能です。 、質問への回答、テキストの翻訳など、 コードを生成する、および大いに多く。
テストの結果、PaLM 2 はすでに大幅な改善を示しており、使用するパラメーターの数がはるかに少ないにもかかわらず、PaLM モデルを上回っています。
PaLM 2 はモデルのファミリーです
他の言語モデルと同様に、PaLM 2 プロジェクトは実際にはさまざまなサイズのモデルのファミリーです。 Google は、PaLM 2 モデルを Gecko、Otter、Bison、Unicorn の XNUMX つのサイズで提供します。
さまざまなサイズがあるため、PaLM 2 をさまざまなユースケースに簡単に導入できます。 たとえば、Gecko モデルは軽量なので、モデル全体がモバイル デバイスに収まり、オフラインでも実行できます。
PaLM 2 のトレーニング データセット
言語モデルを成功させるための最も重要な側面の XNUMX つは、 トレーニングデータセット。 トレーニング データセットは、モデルが設計対象の主題を深く理解できるように、十分に多様である必要があります。
大規模言語モデル (LLM) の場合、通常、モデルをトレーニングする必要がある特定のトピックはありません。 LLM は、代わりに、さまざまなタスクの実行に適合する必要がある汎用モデルとして構築されています。 これらのモデルは、Web の大部分だけでなく、公開されている参考資料、文献、さらにはソース コードもキャプチャする大規模なテキスト データセットを使用します。
PaLM 2 のトレーニング データセットと他のモデルの主な違いは、英語以外のデータがより高い割合で含まれていることです。 彼らによると、 技術報告書、英語以外のテキストを含むようにデータセットを拡張すると、モデルがより多様な言語や文化にさらされるようになります。
PaLM 2 モデルは、モデルがある言語から別の言語に翻訳できるようにするために、並列多言語データでもトレーニングされました。 データにはテキストのペアが含まれており、一方のエントリは英語で、もう一方のエントリは別の言語の同等のテキストです。
上の表は、PaLM 2 のトレーニングに使用された多言語 Web ドキュメントの言語分布を示しています。
PaLM 2 の主な機能
他の言語モデルと比較して、PaLM 2 が優れている主な領域のいくつかを以下に示します。
推論
PaLM 2 のデータセットには、科学論文や数式を含む Web コンテンツなどのソースが含まれています。 これにより、モデルの数学、常識的推論、論理の能力が向上します。
研究者らは、小学校と高校の数学の問題でモデルの数学的推論能力をテストし、GPT-4 の数学能力と同等の結果を示しました。
コーディング
PaLM 2 のトレーニング データにより、さまざまなプログラミング言語でコードを生成する機能も提供されます。 PALM 2 チームは、コードの多い多言語データセットでトレーニングされた、PaLM 2-S* と呼ばれるコーディングに特化した PaLM 2 モデルを作成しました。
このモデルはコード生成ができるだけでなく、複数の言語を含むタスクを処理することもできます。 たとえば、スペイン語で行ごとのコメントを追加する Python ソート関数を作成するように PaLM 2 に依頼できます。
多言語性
モデルは 100 を超える言語を含むデータセットでトレーニングされたため、PaLM 2 は複数の言語にわたるテキストの理解、生成、翻訳に熟練していることを示しています。
多言語性をテストするために、研究者らはさまざまな言語でのさまざまな言語能力テストでモデルをテストしました。 結果は、PaLM 2 が PaLM を上回っているだけでなく、評価されたすべての言語で合格点を達成していることを示しています。
また、PaLM 2 は、さまざまな言語の慣用句を理解したり、ジョークを説明したり、タイプミスを修正したりする機能によって多言語機能を発揮し、形式的なテキストを口語的なチャットに変換する方法を学習することもできます。
PaLM 2 が Google 製品を強化
Google はすでに、PaLM 2 モデルを他の製品と統合することで、PaLM XNUMX の進歩を活用しています。
吟遊詩人
多言語タスクを処理するモデルの機能は現在、Google の機能を強化しています。 吟遊詩人の実験 180以上の国と地域に拡大しています。
Bard は現在、PaLM 2 のコーディング機能を使用して、コード生成やコードのデバッグなどのプログラミングやソフトウェア開発タスクを支援しています。
Google Workspace 向け Duet AI
Google はまた、Google Workspace アプリケーション グループに生成 AI 機能を追加することも計画しています。 Gmail とドキュメントには間もなく次の機能が追加されます。 デュエットAI これは、ユーザーがプロンプトを使用して返信や文章を作成するのに役立ちます。
Duet AI を使用すると、ユーザーが指定したプロンプトに基づいてタスクやプロジェクトのカスタム計画を Google スプレッドシートで作成することもできます。
まとめ
Google は、PaLM 2 言語モデルによって AI 言語ツール市場におけるギャップを埋めたいと考えていることは間違いありません。 このモデルの API はまだ公開されていませんが、研究の結果は、このモデルが GPT-4 のパフォーマンスに匹敵するほど十分な競争力があることを示しています。
Google の既存のユーザー ベースでは、Google の AI が検索エンジンや一連の生産性向上ツールなどのサービスに統合されると、大規模な適応が可能になるという利点があります。
コメントを残す