ほとんどの機械学習および深層学習モデルは、データの量と多様性に大きく依存してうまく機能します。 トレーニング中に提供されるデータの量と多様性は、これらのモデルの予測精度に大きな影響を与えます。
複雑なタスクを効果的に実行するように教えられたディープ ラーニング モデルには、多くの場合、隠れニューロンが含まれています。 学習可能なパラメータの数は、隠れニューロンの数に応じて増加します。
必要なデータの量は、モデルの学習可能なパラメーターの数に比例します。 限られたデータの難しさに対処する方法の XNUMX つは、現在のデータにさまざまな変換を適用して、新しいデータを合成することです。
既存のデータから新しいデータを合成する手法は、「データ拡張」と呼ばれます。 データ拡張を使用して、正確なデータを作成するために必要なデータ量とトレーニング データの種類の両方の要件を満たすことができます。 機械学習または深層学習モデル.
この投稿では、データ拡張、その種類、それが不可欠な理由などについて詳しく見ていきます。
では、データ拡張とは何ですか?
データ拡張は、既存のデータから新しい代表的なデータを開発するプロセスです。 これは、既存のデータの変更されたバージョンを含めるか、新しいデータを合成することで実現できます。
この方法で生成されたデータセットは、機械学習や 深層学習モデル 過剰適合のリスクを最小限に抑えます。 これは、追加情報を使用してデータセットを変更、または「拡張」するプロセスです。
この補足入力は、画像からテキストにまで及ぶ可能性があり、機械学習システムのパフォーマンスを向上させます。
犬種を分類するモデルを構築したいと仮定し、パグ以外のすべての品種の写真が多数あるとします。 その結果、モデルはパグを分類するのが困難になります。
コレクションに追加の (実際のまたは偽の) パグの写真を追加するか、現在のパグの写真を XNUMX 倍にすることができます (たとえば、人工的に一意にするためにそれらを複製および変形することによって)。
現在、データ拡張はどのような用途に役立ちますか?
アプリケーション 機械学習 特に深層学習の分野では急速に発展し、多様化しています。 人工知能業界が直面している課題は、データ拡張技術によって克服できます。
データ拡張は、新しい多様な例をトレーニング データセットに追加することで、機械学習モデルのパフォーマンスと成果を向上させることができます。
データセットが大きくて十分な場合、機械学習モデルのパフォーマンスと精度が向上します。 機械学習モデルの場合、データの収集とラベル付けには時間と費用がかかる場合があります。
企業は、データセットを変更し、データ拡張戦略を利用することで、運用コストを削減できます。
データのクリーニングは、データ モデルの開発段階の XNUMX つであり、高精度のモデルには不可欠です。 ただし、データ クレンジングによって表現可能性が低下すると、モデルは現実世界からの適切な入力を予測できなくなります。
機械学習モデルは、データ拡張アプローチを採用することで強化できます。これにより、モデルが実際の世界で遭遇する可能性のある分散が生成されます。
データ拡張の種類
実際のデータ拡張
実際のデータ拡張は、本物の補足データをデータセットに追加するときに発生します。 これは、追加の属性を含むテキスト ファイル (タグ付きの写真用) から、元のオブジェクトに匹敵する他のオブジェクトの画像、または実際の物の記録にまで及びます。
たとえば、画像ファイルにさらにいくつかの機能を追加することで、機械学習モデルはアイテムをより簡単に検出できます。
各画像に関するより多くのメタデータ (名前や説明など) が含まれている可能性があるため、AI モデルは、それらの写真のトレーニングを開始する前に、各画像が何を表しているかをより詳しく知ることができます。
新しい写真を「猫」や「犬」などの事前に定義されたカテゴリの XNUMX つに分類する段階になると、モデルは画像内に存在するアイテムをより適切に検出できるようになり、結果として全体的なパフォーマンスが向上する可能性があります。
合成データ 増加
実際のデータを追加するだけでなく、貢献することもできます 合成データ または本物のように見える人工データ。
これは、ニューラル スタイルの転送などの難しいタスクに役立ちますが、GAN (敵対的生成ネットワーク)、CNN (畳み込みニューラル ネットワーク)、またはその他のディープ ニューラル ネットワーク アーキテクチャを使用しているかどうかに関係なく、あらゆる設計にも適しています。
たとえば、外に出てたくさんの写真を撮ることなくパグを適切に分類したい場合は、犬の画像のコレクションに偽のパグの写真を追加することができます。
この形式のデータ拡張は、データの収集が困難で、費用がかかり、時間がかかる場合に、モデルの精度を高めるのに特に効果的です。 この状況では、データセットを人為的に拡張しています。
1000 枚の犬種の写真からなる最初のグループには、パグの画像が 5 枚しか含まれていないとします。 本物の犬の実際のパグの写真を追加するのではなく、現在のものの XNUMX つを複製し、パグのように見えるように少し歪ませて偽物を作成しましょう。
データ拡張手法
データ拡張アプローチでは、既存のデータをほとんど変更しません。 これは、ステートメントを言い換えることと同じです。 データ拡張は、次の XNUMX つのカテゴリに分類できます。
テキスト
- 単語の置換: このデータ拡張アプローチには、現在の用語を同義語に置き換えることが含まれます。 例として、「この映画はばかげている」は「この映画はばかげている」になる可能性があります。
- 文/単語のシャッフル: この戦略には、全体的な一貫性を維持しながら、フレーズまたは単語の順序を切り替えることが含まれます。
- Syntax-Tree Manipulation: 同じ用語を使用しながら、既存の文を文法的に正確になるように変更します。
- ランダム削除: この戦略は醜い書き込みを生成しますが、効果的です。 その結果、「このレコードは傷があるので購入しません」というセリフは、「傷があるのでこれを購入しません」になります。 このフレーズはあまり明確ではありませんが、もっともらしい追加のままです。
- 逆翻訳: このアプローチは効果的で楽しいものです。 あなたの言語で書かれたステートメントを別の言語に翻訳してから、元の言語に再翻訳します。
画像
- カーネル フィルター: このアプローチは、画像を鮮明にしたりぼかしたりします。
- 画像の組み合わせ: 奇妙に見えるかもしれませんが、写真を組み合わせることができます。
- ランダムに消去: 現在の画像のごく一部を削除します。
- 幾何学的変換: このアプローチには、とりわけ、画像を任意に反転、回転、トリミング、または変換することが含まれます。
- 画像の反転: 画像を水平方向から垂直方向に反転できます。
- 色空間の変換: RGB カラー チャネルを変更したり、現在の色を強化したりできます。
- リスケーリングは、視覚的なスケールを調整するプロセスです。 スケールインまたはスケールアウトのオプションがあります。 内側に拡大すると、画像は初期サイズよりも小さくなります。 外側に拡大すると、元の画像よりも大きくなります。
オーディオ
- ピッチ: このアプローチでは、オーディオのピッチを変更します。
- 速度の変更: オーディオ ファイルまたは録音の速度を変更します。
- ノイズを増やす: オーディオ ファイルにノイズを追加できます。
Use Case
医用画像は現在、データ増強の顕著なユースケースです。 医療写真のコレクションは少なく、ルールやプライバシーの問題からデータの共有は困難です。
さらに、まれな障害の場合、データセットははるかに制限されます。 医用画像処理会社は、データ拡張を使用してデータ セットを多様化しています。
課題
スケーラビリティ、多様なデータセット、および関連性は、効率的なデータ拡張技術を開発するために解決する必要がある問題の一部です。
スケーラビリティに関しては、拡張データは、多くの異なるモデルが使用できるようにスケーラブルでなければなりません。 重要で価値のある強化されたデータを大量に生成するデータ拡張システムのセットアップには時間がかかる可能性があるため、将来のモデルで使用するためにこれを複製できることを確認する必要があります。
異質性に関しては、さまざまなデータセットには、拡張データを開発する際に考慮しなければならない明確な特徴があります。 適切な拡張データを作成するには、各データセットのプロパティを利用する必要があります。
つまり、データの拡張は、データセットとユース ケースによって異なります。
最後に、増加したデータの利点が危険を上回ることを保証するために、機械学習モデルで利用する前に、適切な指標を使用して拡張データを評価する必要があります。
たとえば、画像ベースの拡張データに重大なバックグラウンド ノイズや無関係なアイテムが存在すると、モデルのパフォーマンスに悪影響を及ぼす可能性があります。
まとめ
最終的には、損失を予測しようとしているのか、金融詐欺を特定しようとしているのか、それともより良いものを構築しようとしているのかに関係なく、 画像分類 モデル、データ拡張は、より正確で堅牢なモデルを構築するための重要な方法です。
優れたトレーニング手順により、シンプルな前処理とデータ拡張により、チームが最先端のモデルを開発するのにも役立ちます。
企業はデータ拡張を利用して、トレーニング データの準備に費やす時間を削減し、より正確で迅速な機械学習モデルを作成できます。.
データセット内の関連データの量を拡大することで、データ拡張は、すでに多くのデータを持っている機械学習モデルにもメリットをもたらします。
コメントを残す