研究者やデータ サイエンティストは、実際のデータを持っていない、または機密保持やプライバシーへの配慮からデータを使用できないという状況に遭遇することがよくあります。
この問題に対処するために、合成データ生成を使用して本物のデータの代替を生成します。
アルゴリズムが適切に動作するには、本物のデータを適切に置き換える必要があり、これも現実的な性質を持つ必要があります。 このようなデータは、プライバシーの維持、システムのテスト、または機械学習アルゴリズムのトレーニング データの作成に使用できます。
合成データの生成を詳しく調べて、AI の時代にそれが不可欠である理由を見てみましょう。
合成データとは何ですか?
合成データは、実世界のデータの代わりにコンピューター シミュレーションまたはアルゴリズムによって生成された注釈付きデータです。 これは、人工知能によって生成された実際のデータのレプリカです。
高度な AI アルゴリズムを使用してデータ パターンとディメンションを使用する場合があります。 トレーニングが完了すると、元のトレーニング データを統計的に表す合成データを無制限に作成できます。
合成データの作成に役立つさまざまなアプローチやテクノロジーがあり、さまざまなアプリケーションで使用できます。
データ生成ソフトウェアには多くの場合、次のものが必要です。
- 合成データを作成する必要があるデータ リポジトリのメタデータ。
- もっともらしいが架空の値を生成するためのテクニック。 例には、値リストや正規表現が含まれます。
- すべてのデータ関係、データベース レベルで宣言された関係、およびアプリケーション コード レベルで制御された関係を包括的に認識します。
モデルを検証し、実際のデータの動作側面をモデルによって生成されたものと比較することも同様に必要です。
これらの架空のデータセットには、本物の価値がすべて含まれていますが、機密データは含まれていません。 まるでカロリーゼロの美味しいケーキのようです。 現実の世界を正確に描写しています。
その結果、それを使用して実世界のデータを置き換えることができます。
合成データの重要性
合成データには、現実世界のデータでは利用できない特定の需要や状況に適合する特性があります。 テスト用のデータが不足している場合、またはプライバシーが最優先事項である場合に、このツールが役に立ちます。
AI によって生成されたデータセットは適応性があり、安全であり、保存、交換、破棄が簡単です。 データ合成手法は、元のデータをサブセット化し、改善するのに適しています。
そのため、テストデータやAIの学習データとしての利用に最適です。
- ML ベースの Uber と テスラの自動運転車.
- 医療およびヘルスケア業界では、本物のデータが存在しない特定の病気や状況を評価します。
- 金融セクターでは、不正行為の検出と保護が非常に重要です。 これを使用すると、新たな不正行為を調査できます。
- Amazon は合成データを使用して Alexa の言語システムをトレーニングしています。
- American Express は、不正行為の検出を向上させるために合成財務データを使用しています。
合成データの種類
合成データは、元のデータの特性に関する統計情報を保持しながら、機密の個人情報を隠すことを目的としてランダムに作成されます。
それは主に次の XNUMX つのタイプに分かれます。
- 完全に合成されたデータ
- 部分的に合成されたデータ
- ハイブリッド合成データ
1. 完全に合成されたデータ
このデータは完全に生成されたものであり、元のデータは含まれません。
通常、この種のデータ ジェネレーターは、実データ内のフィーチャの密度関数を特定し、そのパラメーターを推定します。 その後、予測された密度関数から、特徴ごとにプライバシーが保護されたシリーズがランダムに作成されます。
実際のデータのいくつかの特徴だけが置換対象として選択された場合、これらの特徴の保護された系列が実データの残りの特徴にマッピングされ、保護された系列と実際の系列が同じ順序でランク付けされます。
ブートストラップ技術と多重代入は、完全に合成されたデータを生成するための XNUMX つの従来の方法です。
データは完全に合成であり、実際のデータは存在しないため、この戦略はデータの真実性に依存して優れたプライバシー保護を提供します。
2. 部分的に合成されたデータ
このデータは、いくつかの機密機能の値を置き換えるために合成値のみを使用します。
この状況では、暴露の重大な危険がある場合にのみ、真の値が変更されます。 この変更は、新しく作成されたデータのプライバシーを保護するために行われます。
部分的に合成されたデータを生成するには、複数の代入とモデルベースのアプローチが使用されます。 これらのメソッドは、実世界のデータの欠損値を埋めるためにも使用できます。
3. ハイブリッド合成データ
ハイブリッド合成データには、実際のデータと偽のデータの両方が含まれます。
実際のデータのランダム レコードごとにその中の近いレコードが選択され、その後 XNUMX つが結合されてハイブリッド データが生成されます。 完全合成データと部分合成データの両方の利点があります。
したがって、他の XNUMX つと比較すると、強力なプライバシー保護と高い実用性を提供しますが、より多くのメモリと処理時間を犠牲にします。
合成データ生成の手法
長年にわたり、機械によって作成されたデータという概念が人気がありました。 今は成熟しつつあります。
合成データの生成に使用される手法の一部を次に示します。
1. 分布に基づく
実際のデータは存在しないが、データ アナリストはデータセットの分布がどのように表示されるかを完全に理解している場合。 正規分布、指数分布、カイ二乗分布、t分布、対数正規分布、一様分布など、あらゆる分布のランダムなサンプルを生成できます。
この方法における合成データの価値は、特定のデータ環境に関するアナリストの理解レベルによって異なります。
2. 現実世界のデータを既知の分布に取り込む
実際のデータが存在する場合、企業は、指定された実際のデータに最適な分布を特定することで、その分布を生成できます。
企業は、実際のデータを既知の分布に当てはめて分布パラメータを知りたい場合、モンテカルロ手法を使用してデータを生成できます。
モンテカルロ手法は、企業が利用可能な最大の一致を見つけるのに役立ちますが、最適な一致は企業の合成データのニーズには十分に役に立たない可能性があります。
企業は、このような状況のディストリビューションに適合する機械学習モデルの採用を検討する可能性があります。
デシジョン ツリーなどの機械学習技術を使用すると、組織は非古典的な分布をモデル化できます。非古典的な分布は、マルチモーダルであり、認識されている分布に共通する特性が欠けている可能性があります。
企業は、この機械学習に適合した分布を使用して、本物のデータに接続する合成データを作成できます。
しかしながら、 機械学習モデル オーバーフィッティングの影響を受けやすく、新しいデータとの一致や将来の観測の予測に失敗します。
3. 深層学習
変分オートエンコーダー (VAE) や敵対的生成ネットワーク (GAN) などの深い生成モデルは、合成データを生成できます。
変分オートエンコーダ
VAE は、エンコーダーが元のデータセットを圧縮してデコーダーにデータを送信する教師なしアプローチです。
デコーダは、元のデータセットを表す出力を生成します。
システムの学習には、入力データと出力データ間の相関関係を最大化することが含まれます。
生成的敵対ネットワーク
GAN モデルは、ジェネレーターとディスクリミネーターの XNUMX つのネットワークを使用してモデルを反復的にトレーニングします。
ジェネレーターは、ランダムなサンプル データのセットから合成データセットを作成します。
Discriminator は、事前定義された条件を使用して、合成的に作成されたデータを実際のデータセットと比較します。
合成データプロバイダー
構造化データ
以下で説明するプラットフォームは、表形式データから派生した合成データを提供します。
テーブルに保存されている現実世界のデータを複製し、動作分析、予測分析、またはトランザクション分析に使用できます。
- AIを導入する: Generative Adversarial Networks と差分プライバシーを使用した合成データ作成システムのプロバイダーです。
- ベターデータ: AI、データ共有、製品開発のためのプライバシーを保護する合成データ ソリューションのプロバイダーです。
- ダイブペール: 元のデータと同じ統計的特徴を持つ「ツイン」データセットを作成するシステムである Geminai のプロバイダーです。
非構造化データ
以下で説明するプラットフォームは非構造化データを使用して動作し、視覚および偵察アルゴリズムをトレーニングするための合成データ商品およびサービスを提供します。
- データ生成: Visual AI の学習と開発のための 3D シミュレートされたトレーニング データを提供します。
- ニューロラボ: Neurolabs は、コンピューター ビジョン合成データ プラットフォームのプロバイダーです。
- 並列ドメイン: 自律システムのトレーニングとテストのユースケースのための合成データ プラットフォームのプロバイダーです。
- コニャータ: ADAS および自動運転車開発者向けのシミュレーション サプライヤーです。
- ビフロスト: 3D 環境を作成するための合成データ API を提供します。
課題
それには長い歴史があります Artificial Intelligence多くの利点がある一方で、合成データを操作する際に対処する必要がある重大な欠点もあります。
ここでは、それらのいくつかは以下のとおりです。
- 実際のデータから合成データに複雑さをコピーする際に、多くのエラーが発生する可能性があります。
- その柔軟な性質は、その行動に偏りをもたらします。
- 合成データの簡略化された表現を使用してトレーニングされたアルゴリズムのパフォーマンスには、実際のデータを扱う際に最近表面化した隠れた欠陥がある可能性があります。
- 実世界のデータから関連するすべての属性を複製することは、複雑になる可能性があります。 この操作全体を通じて、いくつかの重要な側面が見落とされる可能性もあります。
まとめ
合成データの作成が人々の注目を集めているのは明らかです。
この方法は、すべてのデータ生成ケースに対応できる万能の答えではない可能性があります。
さらに、この技術には AI/ML によるインテリジェンスが必要であり、相互に関連するデータ、理想的には特定のドメインに適したデータを作成する現実世界の複雑な状況に対処できる可能性があります。
それにもかかわらず、これは他のプライバシー対応テクノロジーでは不十分なギャップを埋める革新的なテクノロジーです。
今日は合成 データ作成にはデータ マスキングの共存が必要な場合があります.
将来的には、この XNUMX つの間の統合がさらに進み、より包括的なデータ生成ソリューションが実現される可能性があります。
コメントであなたの意見を共有してください!
コメントを残す