Jadual Kandungan[Sembunyi][Tunjukkan]
Penyelidik dan saintis data sering menghadapi keadaan di mana mereka sama ada tidak mempunyai data sebenar atau tidak dapat menggunakannya kerana pertimbangan kerahsiaan atau privasi.
Untuk menangani isu ini, pengeluaran data sintetik digunakan untuk menghasilkan penggantian bagi data tulen.
Penggantian data tulen yang sesuai diperlukan untuk algoritma berfungsi dengan betul, yang juga harus realistik dalam perwatakan. Anda boleh menggunakan data sedemikian untuk mengekalkan privasi, sistem ujian atau menghasilkan data latihan untuk algoritma pembelajaran mesin.
Mari terokai penjanaan data sintetik secara terperinci dan lihat sebab ia penting dalam era AI.
Apakah Data Sintetik?
Data sintetik ialah data beranotasi yang dijana oleh simulasi atau algoritma komputer sebagai pengganti kepada data dunia sebenar. Ia adalah replika data sebenar yang dijana kecerdasan buatan.
Seseorang boleh menggunakan corak dan dimensi data menggunakan algoritma AI lanjutan. Mereka boleh mencipta kuantiti tanpa had data sintetik yang mewakili statistik data latihan asal sebaik sahaja mereka dilatih.
Terdapat pelbagai pendekatan dan teknologi yang boleh membantu kami mencipta data sintetik dan anda boleh gunakan dalam pelbagai aplikasi.
Perisian penjanaan data selalunya memerlukan:
- Metadata repositori data, yang mana data sintetik mesti dibuat.
- Teknik untuk menjana nilai yang munasabah tetapi fiksyen. Contohnya termasuk senarai nilai dan ungkapan biasa.
- Kesedaran menyeluruh tentang semua hubungan data, yang diisytiharkan pada peringkat pangkalan data serta yang dikawal pada peringkat kod aplikasi.
Ia juga perlu untuk mengesahkan model dan membandingkan aspek tingkah laku data sebenar dengan yang dihasilkan oleh model.
Set data rekaan ini mempunyai semua nilai perkara sebenar, tetapi tiada satu pun daripada data sensitif. Ia seperti kek yang lazat tanpa kalori. Ia menggambarkan dunia sebenar dengan tepat.
Akibatnya, anda boleh menggunakannya untuk menggantikan data dunia sebenar.
Kepentingan Data Sintetik
Data sintetik mempunyai ciri yang sesuai dengan permintaan atau situasi tertentu yang sebaliknya tidak tersedia dalam data dunia sebenar. Apabila terdapat kekurangan data untuk ujian atau apabila privasi menjadi pertimbangan utama, ia datang untuk menyelamatkannya.
Set data yang dijana AI boleh disesuaikan, selamat dan mudah disimpan, ditukar dan dibuang. Teknik sintesis data adalah sesuai untuk subset dan menambah baik data asal.
Akibatnya, ia sesuai untuk digunakan sebagai data ujian dan data latihan AI.
- Untuk mengajar Uber berasaskan ML dan Kereta pandu sendiri Tesla.
- Dalam industri perubatan dan penjagaan kesihatan, untuk menilai penyakit dan keadaan tertentu yang mana data tulen tidak wujud.
- Pengesanan dan perlindungan penipuan adalah penting dalam sektor kewangan. Dengan menggunakannya, anda boleh menyiasat kejadian penipuan baharu.
- Amazon sedang melatih sistem bahasa Alexa menggunakan data sintetik.
- American Express menggunakan data kewangan sintetik untuk meningkatkan pengesanan penipuan.
Jenis Data Sintetik
Data sintetik dicipta secara rawak dengan tujuan untuk menyembunyikan maklumat peribadi yang sensitif sambil menyimpan maklumat statistik tentang ciri dalam data asal.
Ia terutamanya terdiri daripada tiga jenis:
- Data sintetik sepenuhnya
- Data separa sintetik
- Data sintetik hibrid
1. Data Sintetik Sepenuhnya
Data ini dijana sepenuhnya dan tidak mengandungi data asal.
Biasanya, penjana data untuk jenis ini akan mengenal pasti fungsi ketumpatan ciri dalam data sebenar dan menganggarkan parameternya. Kemudian, daripada fungsi ketumpatan yang diramalkan, siri yang dilindungi privasi dicipta secara rawak untuk setiap ciri.
Jika hanya beberapa ciri data sebenar dipilih untuk digantikan dengannya, siri dilindungi ciri ini dipetakan kepada ciri baki data sebenar untuk meletakkan kedudukan siri yang dilindungi dan sebenar dalam susunan yang sama.
Teknik Bootstrap dan pelbagai imputasi ialah dua kaedah tradisional untuk menghasilkan data sintetik sepenuhnya.
Oleh kerana data adalah sintetik sepenuhnya dan tiada data sebenar wujud, strategi ini menyediakan perlindungan privasi yang sangat baik dengan pergantungan pada kebenaran data.
2. Data Separa Sintetik
Data ini hanya menggunakan nilai sintetik untuk menggantikan nilai beberapa ciri sensitif.
Dalam keadaan ini, nilai tulen hanya berubah jika terdapat bahaya pendedahan yang besar. Perubahan ini dilakukan untuk melindungi privasi data yang baru dibuat.
Imputasi berbilang dan pendekatan berasaskan model digunakan untuk menghasilkan data separa sintetik. Kaedah ini juga boleh digunakan untuk mengisi nilai yang hilang dalam data dunia sebenar.
3. Data Sintetik Hibrid
Data sintetik hibrid termasuk kedua-dua data sebenar dan palsu.
Rekod hampir di dalamnya dipilih untuk setiap rekod rawak data sebenar, dan kedua-duanya kemudian digabungkan untuk menjana data hibrid. Ia mempunyai faedah kedua-dua data sintetik sepenuhnya dan separa sintetik.
Oleh itu, ia menawarkan pemeliharaan privasi yang kukuh dengan utiliti yang tinggi jika dibandingkan dengan dua yang lain, tetapi pada kos lebih banyak memori dan masa pemprosesan.
Teknik Penjanaan Data Sintetik
Selama bertahun-tahun, konsep data buatan mesin telah popular. Kini ia semakin matang.
Berikut ialah beberapa teknik yang digunakan untuk menjana data sintetik:
1. Berdasarkan pengagihan
Sekiranya tiada data sebenar wujud, tetapi penganalisis data mempunyai idea yang menyeluruh tentang cara pengedaran set data akan muncul; mereka boleh menghasilkan sampel rawak bagi sebarang taburan, termasuk Normal, Eksponen, Khi kuasa dua, t, lognormal dan Seragam.
Nilai data sintetik dalam kaedah ini berbeza-beza bergantung pada tahap pemahaman penganalisis tentang persekitaran data tertentu.
2. Data dunia sebenar ke dalam pengedaran yang diketahui
Perniagaan boleh menghasilkannya dengan mengenal pasti pengedaran yang paling sesuai untuk data sebenar yang diberikan jika terdapat data sebenar.
Perniagaan boleh menggunakan pendekatan Monte Carlo untuk menghasilkannya jika mereka ingin memasukkan data sebenar ke dalam pengedaran yang diketahui dan mengetahui parameter pengedaran.
Walaupun pendekatan Monte Carlo boleh membantu perniagaan dalam mencari padanan terbaik yang tersedia, yang paling sesuai mungkin tidak cukup digunakan untuk keperluan data sintetik syarikat.
Perniagaan mungkin meneroka menggunakan model pembelajaran mesin untuk disesuaikan dengan pengedaran dalam keadaan ini.
Teknik pembelajaran mesin, seperti pepohon keputusan, membolehkan organisasi memodelkan pengedaran bukan klasik, yang mungkin berbilang modal dan kekurangan sifat umum pengedaran yang diiktiraf.
Perniagaan mungkin menghasilkan data sintetik yang bersambung kepada data tulen menggunakan pengedaran dipasang pembelajaran mesin ini.
Walau bagaimanapun, model pembelajaran mesin terdedah kepada overfitting, yang menyebabkan mereka gagal memadankan data baharu atau meramalkan pemerhatian masa hadapan.
3. Pembelajaran Dalam
Model generatif dalam seperti Variational Autoencoder (VAE) dan Generative Adversarial Network (GAN) boleh menghasilkan data sintetik.
Autoenkoder variasi
VAE ialah pendekatan tanpa pengawasan di mana pengekod memampatkan set data asal dan menghantar data kepada penyahkod.
Penyahkod kemudiannya menghasilkan output yang merupakan perwakilan set data asal.
Pengajaran sistem melibatkan memaksimumkan korelasi antara data input dan output.
Rangkaian Pengantara Generatif
Model GAN melatih model secara berulang menggunakan dua rangkaian, penjana dan diskriminator.
Penjana mencipta set data sintetik daripada set data sampel rawak.
Diskriminator membandingkan data yang dibuat secara sintetik dengan set data sebenar menggunakan syarat yang telah ditetapkan.
Pembekal Data Sintetik
Data Berstruktur
Platform yang dinyatakan di bawah menyediakan data sintetik yang diperoleh daripada data jadual.
Ia mereplikasi data dunia sebenar yang disimpan dalam jadual dan boleh digunakan untuk analisis tingkah laku, ramalan atau transaksi.
- Tanamkan AI: Ia adalah pembekal sistem penciptaan data sintetik yang menggunakan Rangkaian Adversarial Generatif dan privasi pembezaan.
- Betterdata: Ia adalah penyedia penyelesaian data sintetik yang memelihara privasi untuk AI, perkongsian data dan pembangunan produk.
- Divepale: Ia adalah pembekal Geminai, sebuah sistem untuk mencipta set data 'berkembar' dengan ciri statistik yang sama seperti data asal.
Data Tidak Berstruktur
Platform yang dinyatakan di bawah beroperasi dengan data tidak berstruktur, menyediakan barangan dan perkhidmatan data sintetik untuk melatih visi dan algoritma peninjauan.
- Datagen: Ia menyediakan data latihan simulasi 3D untuk pembelajaran dan pembangunan AI Visual.
- Neurolabs: Neurolabs ialah penyedia platform data sintetik penglihatan komputer.
- Domain selari: Ia adalah penyedia platform data sintetik untuk latihan sistem autonomi dan kes penggunaan ujian.
- Cognata: Ia adalah pembekal simulasi untuk ADAS dan pemaju kenderaan autonomi.
- Bifrost: Ia menyediakan API data sintetik untuk mencipta persekitaran 3D.
Cabaran
Ia mempunyai sejarah yang panjang dalam Kepintaran Buatan, dan walaupun ia mempunyai banyak kelebihan, ia juga mempunyai kelemahan ketara yang perlu anda tangani semasa bekerja dengan data sintetik.
Berikut adalah sebahagian daripada mereka:
- Banyak ralat mungkin berlaku semasa menyalin kerumitan daripada data sebenar kepada data sintetik.
- Sifat mudah ditempa itu membawa kepada berat sebelah dalam tingkah lakunya.
- Mungkin terdapat beberapa kelemahan tersembunyi dalam prestasi algoritma yang dilatih menggunakan perwakilan ringkas data sintetik yang baru-baru ini muncul semasa berurusan dengan data sebenar.
- Meniru semua atribut yang berkaitan daripada data dunia sebenar boleh menjadi rumit. Mungkin juga beberapa aspek penting boleh diabaikan sepanjang operasi ini.
Kesimpulan
Pengeluaran data sintetik jelas menarik perhatian orang ramai.
Kaedah ini mungkin bukan satu jawapan yang sesuai untuk semua untuk semua kes penjanaan data.
Selain itu, teknik ini mungkin memerlukan kecerdasan melalui AI/ML dan dapat menangani situasi rumit dunia sebenar untuk mencipta data yang saling berkaitan, idealnya data yang sesuai untuk domain tertentu.
Walau bagaimanapun, ia adalah teknologi inovatif yang mengisi jurang di mana teknologi lain yang membolehkan privasi gagal.
Hari ini, sintetik pengeluaran data mungkin memerlukan kewujudan bersama penyamaran data.
Pada masa hadapan, mungkin terdapat penumpuan yang lebih besar antara kedua-duanya, menghasilkan penyelesaian penjanaan data yang lebih komprehensif.
Kongsi pandangan anda dalam komen!
Sila tinggalkan balasan anda