人工知能の古典的な問題は、人間の言語を理解できる機械の追求です。
たとえば、お気に入りの検索エンジンで「近くのイタリアン レストラン」を検索する場合、アルゴリズムはクエリ内の各単語を分析し、関連する結果を出力する必要があります。 まともな翻訳アプリは、英語の特定の単語の文脈を理解し、言語間の文法の違いを何らかの方法で説明する必要があります.
これらすべてのタスクとその他の多くのタスクは、コンピューター サイエンスの下位分野に分類されます。 自然言語処理 またはNLP。 NLP の進歩により、Amazon の Alexa などの仮想アシスタントから、悪意のある電子メールを検出するスパム フィルターまで、幅広い実用的なアプリケーションが生まれました。
NLP における最新のブレークスルーは、 大規模な言語モデル またはLLM。 GPT-3 などの LLM は非常に強力になったため、ほぼすべての NLP タスクまたはユース ケースで成功するようです。
この記事では、LLM とは何か、これらのモデルがどのようにトレーニングされるか、および現在の制限について説明します。
大規模言語モデルとは
基本的に、言語モデルは、一連の単語が有効な文である可能性を判断する単純なアルゴリズムです。
数百冊の本で訓練された非常に単純な言語モデルは、「家に帰った」よりも「彼は家に帰った」のほうが有効であると判断できるはずです。
比較的小さなデータセットをインターネットからスクレイピングした大規模なデータセットに置き換えると、 大規模な言語モデル.
使い方 ニューラルネットワーク、研究者は大量のテキストデータでLLMをトレーニングできます。 モデルが認識したテキスト データの量により、LLM はシーケンス内の次の単語の予測に非常に優れています。
モデルは非常に洗練されており、多くの NLP タスクを実行できます。 これらのタスクには、テキストの要約、斬新なコンテンツの作成、さらには人間のような会話のシミュレーションが含まれます。
たとえば、非常に人気のある GPT-3 言語モデルは、175 億を超えるパラメーターでトレーニングされており、これまでで最も高度な言語モデルと見なされています。
動作するコードを生成し、記事全体を作成し、あらゆるトピックに関する質問に答えることができます。
LLMはどのように訓練されていますか?
LLM がその能力の多くをトレーニング データのサイズに負っているという事実について簡単に触れました。 結局、それらを「大きな」言語モデルと呼ぶのには理由があります。
Transformer アーキテクチャを使用した事前トレーニング
事前トレーニング段階では、言語の一般的な構造とルールを学習するために、LLM が既存のテキスト データに導入されます。
ここ数年、LLM は公共のインターネットの大部分をカバーするデータセットで事前トレーニングされてきました。 たとえば、GPT-3 の言語モデルは、 一般的なクロール データセットは、50 万を超えるドメインからスクレイピングされた Web 投稿、Web ページ、およびデジタル化された書籍のコーパスです。
次に、膨大なデータセットが、 トランス. トランスフォーマーは一種の 深いニューラルネットワーク これはシーケンシャル データに最適です。
変圧器は エンコーダー/デコーダー アーキテクチャ 入力と出力を処理するため。 基本的に、トランスフォーマーには、エンコーダーとデコーダーの XNUMX つのニューラル ネットワークが含まれています。 エンコーダーは、入力テキストの意味を抽出し、ベクトルとして保存できます。 次に、デコーダはベクトルを受け取り、テキストの解釈を生成します。
ただし、Transformer アーキテクチャがうまく機能することを可能にした重要な概念は、 自己注意メカニズム. 自己注意の概念により、モデルは特定の文の中で最も重要な単語に注意を払うことができました。 このメカニズムは、順番に遠く離れている単語間の重みも考慮します。
自己注意のもう XNUMX つの利点は、プロセスを並列化できることです。 順次データを順番に処理する代わりに、Transformer モデルはすべての入力を一度に処理できます。 これにより、トランスフォーマーは、他の方法と比較して比較的迅速に大量のデータをトレーニングできます。
微調整
事前トレーニング段階の後、ベース LLM がトレーニングする新しいテキストを導入することを選択できます。 このプロセスを呼び出します 微調整 また、特定のタスクで LLM の出力をさらに改善するためによく使用されます。
たとえば、LLM を使用して Twitter アカウントのコンテンツを生成することができます。 以前のツイートのいくつかの例をモデルに提供して、望ましい出力のアイデアを与えることができます。
微調整にはいくつかの種類があります。
数ショットの学習 言語モデルが同様の出力を作成する方法を理解することを期待して、モデルに少数の例を与えるプロセスを指します。 ワンショット学習 単一の例のみが提供されていることを除いて、同様のプロセスです。
大規模言語モデルの制限
GPT-3 などの LLM は、微調整しなくても多数のユース ケースを実行できます。 ただし、これらのモデルにはまだ独自の制限があります。
世界の意味論的理解の欠如
表面的には、LLM は知性を示しているように見えます。 ただし、これらのモデルは、 人間の脳 します。 LLM は統計計算のみに依存して出力を生成します。 彼らには、アイデアや概念を自分で推論する能力がありません。
このため、LLM は、単語が特定の順序で配置されたときに「正しい」または「統計的に可能性が高い」ように見えるという理由だけで、無意味な回答を出力する可能性があります。
幻覚
GPT-3 のようなモデルでも、応答が不正確になります。 LLM は、として知られる現象に悩まされる可能性があります。 幻覚 モデルは、応答が実際には根拠がないことを認識せずに、事実に反する応答を出力します。
たとえば、ユーザーはモデルに、最新の iPhone に関する Steve Jobs の考えを説明するように依頼する場合があります。 モデルは、トレーニング データに基づいて何もないところから見積もりを生成する場合があります。
偏見と限られた知識
他の多くのアルゴリズムと同様に、大規模な言語モデルは、トレーニング データに存在するバイアスを継承する傾向があります。 情報を取得するために LLM への依存度が高まるにつれて、これらのモデルの開発者は、偏った応答の潜在的に有害な影響を軽減する方法を見つける必要があります。
同様に、モデルのトレーニング データの盲点もモデル自体の妨げになります。 現在、大規模な言語モデルのトレーニングには数か月かかります。 これらのモデルは、範囲が限定されたデータセットにも依存しています。 これが、ChatGPT が 2021 年以降に発生したイベントに関する限られた知識しか持っていない理由です。
まとめ
大規模な言語モデルは、テクノロジーや世界一般との関わり方を真に変える可能性を秘めています。
インターネット上で入手可能な膨大な量のデータにより、研究者は言語の複雑さをモデル化する方法を手に入れました。 しかし、その過程で、これらの言語モデルは人間のような世界の理解をそのまま認識しているようです。
一般の人々がこれらの言語モデルが正確な出力を提供することを信頼し始めているため、研究者や開発者は、技術が倫理的であり続けるようにガードレールを追加する方法をすでに見つけています。
LLMの未来はどうなると思いますか?
コメントを残す