目次[隠す][見せる]
大規模な言語モデルは、自然言語プログラミングとニューラル ネットワークの分野における最も印象的な最近の開発の一部です。
OpenAI の GPT-3 は、最もパフォーマンスの高いモデルの XNUMX つとして際立っています。 モデルの出力は、多くの場合、人間が作成したテキストと見分けがつきません。
ただし、GPT-3 はまだクローズド ソース モデルです。 非常に強力ですが、特定のユースケースには適さない可能性がある特定の制限があります。
この記事では、いくつかの大きな問題について説明します。 言語モデル GPT-3 の生のパフォーマンスと競合することができます。
OpenAI GPT-3 の代替品を探す理由
OpenAI の GPT-3 モデルは高度な 深い学習 人間のようなテキストを生成するモデル。 これは、OpenAI の研究所による第 XNUMX 世代の言語予測モデルです。
このモデルは、OpenAI が最終的に 2021 年後半に API を公開する前に、最初はクローズド ベータ版としてリリースされました。
現在、GPT-3 には 0.0004 つの基本モデルから選択できます。 最も安価で最速のモデルである Ada は、1000 トークンあたりわずか 0.02 ドルです。 OpenAI の最も強力なモデルである Davinci のコストは 1000 トークンあたり 50 ドルで、約 XNUMX 倍の費用がかかります。
OpenAI はまた、開発者が独自のものに従う必要があります 使用ガイドライン. 開発者はまた、開発者のアプリケーションが手動レビュー プロセスを通じて承認されると、増加できる制限付きの使用クォータを提供します。
GPT-3 出力は高品質の出力でよく知られていますが、使用できる言語予測モデルはこれだけではありません。
GPT-3 の代替として使用できるいくつかの競合モデルを見てみましょう。
1.GPT-J
GPT-J は、Eleuther AI グループによるオープンソースの言語モデルです。
ゼロ ショットのパフォーマンスは GPT-3 とほぼ同等であり、他の多くの GPT 実装よりもパフォーマンスがはるかに近くなっています。
6 億個のパラメーターを持つ自己回帰テキスト生成モデルは、「The Pile」として知られるデータセットでトレーニングされています。
パイル 実際には、22 個の小さなデータセットを組み合わせたものです。 合計ファイル サイズは 825 GiB で、学術的および専門的なソースに重点を置いていることが観察されています。
これにより、モデルを自分でテストできます 無料のWebアプリケーション.
簡単なプロンプトでモデルをテストすることができました。 GPT-J は、「今日新しい言語を学ぶための最良の方法」を列挙することに成功しました。
ただし、自己回帰テキスト生成モデルとは何かを説明するように依頼しようとすると、パフォーマンスがややむらがあります。
出力は理にかなっていますが、実際には意味のある方法でプロンプトに応答しませんでした。
価格(英語)
GPT-J はオープンソース モデルであるため、実際に独自のインスタンスを自分で実行できます。 による 公式リポジトリ、モデルはテンソル プロセッシング ユニット (TPU) で実行するように設計されています。 最適ではありますが、これは最も費用対効果の高いオプションではない可能性があります。 クラウド TPU の費用 約 $4.50/時間。
長期的には、独自の GPU を使用するか、次のようなサービスを通じて専用の GPU サーバーをレンタルする方が安価になる可能性があります。 広大なai or 流体スタック.
2.ジュラシック-1
Jurassic-1 は、NLP を専門とするイスラエルの AI 企業である AI21 Labs によってリリースされた言語モデルです。 OpenAI と同様に、言語モデルにアクセスできる API も提供しています。
あなたは彼らのアカウントを作成することができます ウェブサイト プレイグラウンド Web アプリにアクセスして、モデルを自分でテストします。
AI21 Studio には、Jurassic-1 モデルの独自のカスタム バージョンをトレーニングおよびクエリできる機能も含まれています。 によると 公式ブログ記事、わずか XNUMX のサンプルを含むカスタム モデルは、元のモデルを使用した迅速なエンジニアリングよりも優れている場合があります。
価格(英語)
0.25 つの基本モデルのそれぞれについて、柔軟な使用量ベースの価格設定を提供します。 たとえば、モデルによって生成された 1000 トークンごとに 1 ドルを請求します。 平均して、各トークンは約 XNUMX 単語または XNUMX 文字です。
これは、AI21 の最高のモデルを使用して、わずか 4000 ドルで 1 語の文書を作成できることを意味します。 ただし、覚えておく必要があることの 29 つは、モデルを使用するには毎月最低 XNUMX ドルを支払う必要があることです。
3.テキストシンセ
TextSynth は、テキストの生成に使用できるもう 2 つの NLP Web サービスです。 前の 100 つの例とは異なり、TextSynth はスタンドアロン モデルではありません。 このサービスは、ユーザーが GPT-NeoX、MXNUMXMXNUMX、さらには GPT-J などの他のさまざまなオープンソースの大規模言語モデルにアクセスできるようにすることで機能します。
開発者は、 REST API 言語モデルを独自のアプリケーションに統合します。 無料で試してみることができます 遊び場のページ 利用可能な各モデルがどのように機能するかを確認します。
価格(英語)
無料プランでは、いくつかのレート制限付きですべての言語モデルにアクセスできます。 サービスは、各リクエストを 200 トークンの長さに制限します。
標準プランでは、生成されるトークン数の制限がなくなります。 価格設定モデルは、予期しない費用を避けるためにクレジット ベースです。 購入するクレジットの最小数は $20 です。 未使用のクレジットは XNUMX 年後に無効になります。
各リクエストの価格は、入力および生成されたトークンの数に基づいています。 公式ウェブサイトの表に基づくと、安価なモデルを使用する場合、約 0.75 ドルから 1.25 ドルを支払うことが期待できます。
まとめ
この記事が、言語モデルとして使用できる手頃な価格で効果的な言語モデルを見つけるのに役立つことを願っています。 OpenAI GPT-3 の代替.
大規模な言語モデルは非常に強力で、さまざまなタスクに使用できます。 それらは、テキストの生成、言語間の翻訳、自然言語の理解と応答に使用できます。
宇宙での私の研究と私が実施したテストに基づいて、GPT-3は依然として他のすべてよりも優れています 大規模な言語モデル 私はもう試した。 ただし、研究者が新しいモデルを開発およびリリースするにつれて、これは将来変わる可能性があります。
Google、Facebook、およびその他の AI 研究所の研究者は、引き続き独自の LMM の開発に取り組みます。 これらの AI チームの 3 つが GPT-XNUMX よりも優れたモデルを発表する可能性は確かにあります。
コメントを残す