Atọka akoonu[Fipamọ][Ifihan]
Awọn oniwadi ati awọn onimọ-jinlẹ data nigbagbogbo ba pade awọn ayidayida ninu eyiti wọn ko ni data gangan tabi ko lagbara lati lo nitori aṣiri tabi awọn ero ikọkọ.
Lati koju ọran yii, iṣelọpọ data sintetiki ni a lo lati gbejade aropo fun data tootọ.
Rirọpo ti o yẹ fun data otitọ ni a nilo fun algorithm lati ṣe daradara, eyiti o tun yẹ ki o jẹ ojulowo ni ihuwasi. O le lo iru data bẹ fun mimu aṣiri, awọn eto idanwo, tabi iṣelọpọ data ikẹkọ fun awọn algoridimu ikẹkọ ẹrọ.
Jẹ ki a ṣawari iran data sintetiki ni awọn alaye ki o rii idi ti wọn ṣe pataki ni ọjọ-ori AI.
Kini Data Sintetiki?
Awọn data sintetiki jẹ data asọye ti ipilẹṣẹ nipasẹ awọn iṣeṣiro kọnputa tabi awọn algoridimu bi aropo fun data gidi-aye. O jẹ ẹda itetisi atọwọda ti ipilẹṣẹ ti data gangan.
Eniyan le lo awọn ilana data ati awọn iwọn nipa lilo awọn algoridimu AI ilọsiwaju. Wọn le ṣẹda iye ailopin ti data sintetiki ti o jẹ aṣoju iṣiro ti data ikẹkọ atilẹba ni kete ti wọn ba ti kọ wọn.
Awọn ọna oriṣiriṣi ati awọn imọ-ẹrọ ti o le ṣe iranlọwọ fun wa lati ṣẹda data sintetiki ati pe o le lo ni ọpọlọpọ awọn ohun elo.
Sọfitiwia ipilẹṣẹ data nigbagbogbo nbeere:
- Metadata ti ibi ipamọ data kan, eyiti data sintetiki gbọdọ ṣẹda.
- Imọ-ẹrọ fun ipilẹṣẹ awọn idiyele ti o ṣeeṣe ṣugbọn awọn iye aijẹ-ọrọ. Awọn apẹẹrẹ pẹlu awọn atokọ iye ati awọn ikosile deede.
- Imọye pipe ti gbogbo awọn ibatan data, awọn ti a kede ni ipele data data ati awọn ti a ṣakoso ni ipele koodu ohun elo.
O tun jẹ dandan lati fọwọsi awoṣe ki o ṣe afiwe awọn abala ihuwasi ti data gidi si awọn ti ipilẹṣẹ nipasẹ awoṣe.
Awọn ipilẹ data airotẹlẹ wọnyi ni gbogbo iye ti ohun gidi, ṣugbọn ko si data ifura naa. O dabi akara oyinbo ti ko ni kalori kan. O ṣe apejuwe aye gangan.
Bi abajade, o le lo lati rọpo data gidi-aye.
Pataki ti Data Sintetiki
Awọn data sintetiki ni awọn abuda lati baamu awọn ibeere kan tabi awọn ipo ti yoo bibẹẹkọ ko si ni data gidi-aye. Nigba ti data kan ba wa fun idanwo tabi nigbati asiri jẹ ero ti o ga julọ, o wa si igbala.
Awọn ipilẹ data ti AI ti ipilẹṣẹ jẹ adaṣe, aabo, ati rọrun lati fipamọ, paṣipaarọ, ati sisọnu. Ilana imudara data jẹ deede fun ṣiṣe ipilẹ ati imudarasi data atilẹba.
Bi abajade, o jẹ apẹrẹ fun lilo bi data idanwo ati data ikẹkọ AI.
- Lati kọ ML-orisun Uber ati Awọn ọkọ ayọkẹlẹ awakọ ti ara ẹni Tesla.
- Ni awọn ile-iṣẹ iṣoogun ati ilera, lati ṣe ayẹwo awọn aarun kan pato ati awọn ipo eyiti data otitọ ko si.
- Wiwa ẹtan ati aabo jẹ pataki ni eka owo. Nipa lilo rẹ, o le ṣe iwadii awọn iṣẹlẹ arekereke tuntun.
- Amazon n ṣe ikẹkọ eto ede Alexa nipa lilo data sintetiki.
- American Express n lo data inawo sintetiki lati ṣe ilọsiwaju wiwa ẹtan.
Orisi ti sintetiki Data
Awọn data sintetiki ti ṣẹda ni aileto pẹlu ero ti fifipamọ alaye ikọkọ ti o ni ifura lakoko titọju alaye iṣiro nipa awọn abuda ninu data atilẹba.
O jẹ akọkọ ti awọn oriṣi mẹta:
- Ni kikun sintetiki data
- Apa kan sintetiki data
- Arabara sintetiki data
1. Ni kikun sintetiki Data
Data yii jẹ ipilẹṣẹ patapata ko si ni data atilẹba ninu.
Ni deede, olupilẹṣẹ data fun iru yii yoo ṣe idanimọ awọn iṣẹ iwuwo ti awọn ẹya ni data gidi ati ṣe iṣiro awọn aye wọn. Nigbamii, lati awọn iṣẹ iwuwo asọtẹlẹ, jara ti o ni idaabobo ni a ṣẹda ni airotẹlẹ fun ẹya kọọkan.
Ti o ba yan awọn abuda diẹ ti data gangan lati rọpo pẹlu rẹ, jara ti o ni aabo ti awọn ẹya wọnyi jẹ ya aworan si awọn ẹya to ku ti data gidi lati ṣe ipo aabo ati jara gidi ni aṣẹ kanna.
Awọn imọ-ẹrọ Bootstrap ati awọn idawọle pupọ jẹ awọn ọna ibile meji fun iṣelọpọ data sintetiki patapata.
Nitoripe data naa jẹ sintetiki patapata ati pe ko si data gidi ti o wa, ilana yii n pese aabo ikọkọ ti o dara julọ pẹlu igbẹkẹle lori otitọ data naa.
2. Apakan sintetiki Data
Data yii nlo awọn iye sintetiki nikan lati rọpo awọn iye ti awọn ẹya ifura diẹ.
Ni ipo yii, awọn iye gidi jẹ iyipada nikan ti eewu nla ti ifihan ba wa. Iyipada yii ni a ṣe lati daabobo aṣiri ti data tuntun ti a ṣẹda.
Imudaniloju pupọ ati awọn ọna ti o da lori awoṣe ni a lo lati gbejade data sintetiki apakan. Awọn ọna wọnyi tun le ṣee lo lati kun awọn iye ti o padanu ni data gidi-aye.
3. Arabara Sintetiki Data
Awọn data sintetiki arabara pẹlu mejeeji gangan ati data iro.
Igbasilẹ-isunmọ ninu rẹ ni a mu fun igbasilẹ laileto kọọkan ti data gidi, ati pe awọn meji lẹhinna darapọ mọ lati ṣe ipilẹṣẹ data arabara. O ni awọn anfani ti awọn mejeeji sintetiki patapata ati data sintetiki apakan.
Nitorinaa o funni ni itọju ikọkọ ti o lagbara pẹlu ohun elo giga nigbati a bawe si awọn meji miiran, ṣugbọn ni idiyele ti iranti diẹ sii ati akoko sisẹ.
Awọn ilana ti Sintetiki Data generation
Fun ọpọlọpọ ọdun, ero ti data ti a ṣe ẹrọ ti jẹ olokiki. Bayi o ti dagba.
Eyi ni diẹ ninu awọn ilana ti a lo lati ṣe ipilẹṣẹ data sintetiki:
1. Da lori pinpin
Ti ko ba si data gidi kan, ṣugbọn oluyanju data ni imọran kikun ti bii pinpin dataset yoo han; wọn le ṣe agbejade ayẹwo laileto ti eyikeyi pinpin, pẹlu Deede, Exponential, Chi-square, t, lognormal, ati Uniform.
Iye data sintetiki ni ọna yii yatọ da lori ipele oye ti atunnkanka nipa agbegbe data kan.
2. Real-aye data sinu mọ pinpin
Awọn iṣowo le gbejade nipasẹ idamo awọn pinpin ibamu ti o dara julọ fun data gidi ti a fun ni ti data gidi ba wa.
Awọn iṣowo le lo ọna Monte Carlo lati gbejade ti wọn ba fẹ lati baamu data gidi sinu pinpin ti a mọ ati mọ awọn aye pinpin.
Botilẹjẹpe ọna Monte Carlo le ṣe iranlọwọ fun awọn iṣowo ni wiwa ere ti o tobi julọ ti o wa, ibamu ti o dara julọ le ma jẹ lilo to fun awọn iwulo data sintetiki ti ile-iṣẹ naa.
Awọn iṣowo le ṣawari awọn awoṣe ikẹkọ ẹrọ lati ba awọn pinpin ni ibamu si awọn ipo wọnyi.
Awọn imọ-ẹrọ ikẹkọ ẹrọ, gẹgẹbi awọn igi ipinnu, jẹ ki awọn ajọ ṣiṣẹ lati ṣe apẹẹrẹ awọn ipinpinpin ti kii ṣe kilasika, eyiti o le jẹ ọna-pupọ ati aini awọn ohun-ini ti o wọpọ ti awọn ipinpinpin ti a mọ.
Awọn iṣowo le ṣe agbejade data sintetiki ti o sopọ si data tootọ nipa lilo pinpin ikẹkọ ti ẹrọ yii.
sibẹsibẹ, awọn awoṣe ẹkọ ẹrọ ni ifaragba si overfitting, eyiti o jẹ ki wọn kuna lati baramu data tuntun tabi asọtẹlẹ awọn akiyesi ọjọ iwaju.
3. Ijinle Eko
Awọn awoṣe ipilẹṣẹ ti o jinlẹ bii Iyatọ Autoencoder (VAE) ati Generative Adversarial Network (GAN) le ṣe agbejade data sintetiki.
Ayipada Autoencoder
VAE jẹ ọna ti a ko ni abojuto ninu eyiti koodu koodu ṣe kọkọ si ipilẹ data atilẹba ti o fi data ranṣẹ si oluyipada.
Oluyipada lẹhinna ṣe agbejade iṣelọpọ ti o jẹ aṣoju ti ipilẹ data atilẹba.
Kikọ eto naa jẹ mimu iwọn ibaramu pọ si laarin igbewọle ati data iṣelọpọ.
Nẹtiwọọki Adaniran-iran
Awoṣe GAN ni igbagbogbo kọ awoṣe naa ni lilo awọn nẹtiwọọki meji, olupilẹṣẹ, ati iyasoto.
Olupilẹṣẹ ṣẹda ipilẹ data sintetiki lati inu akojọpọ data ayẹwo laileto.
Olutayo ṣe afiwe data ti a ṣẹda ti iṣelọpọ si ipilẹ data gidi kan nipa lilo awọn ipo asọye-tẹlẹ.
Awọn olupese Data Sintetiki
Data ti a ṣeto
Awọn iru ẹrọ ti a mẹnuba ni isalẹ n pese data sintetiki ti o wa lati data tabular.
O ṣe atunṣe data gidi-aye ti o tọju sinu awọn tabili ati pe o le ṣee lo fun ihuwasi, asọtẹlẹ, tabi itupalẹ iṣowo.
- Fi AI sii: O jẹ olupese ti eto ẹda data sintetiki ti o nlo Awọn nẹtiwọki Adversarial Generative ati asiri iyatọ.
- Dara data: O jẹ olupese ti ojutu data sintetiki ti o tọju ipamọ fun AI, pinpin data, ati idagbasoke ọja.
- Divepale: O jẹ olupese ti Geminai, eto fun ṣiṣẹda awọn datasets 'ibeji' pẹlu awọn ẹya iṣiro kanna bi data atilẹba.
Data ti a ko ṣeto
Awọn iru ẹrọ ti a mẹnuba ni isalẹ n ṣiṣẹ pẹlu data ti a ko ṣeto, pese awọn ẹru data sintetiki ati awọn iṣẹ fun iran ikẹkọ ati awọn algoridimu atunmọ.
- Datagen: O pese data ikẹkọ adaṣe 3D fun ẹkọ wiwo AI ati idagbasoke.
- Awọn neurolabs: Neurolabs jẹ olupese ti iran kọmputa kan Syeed data sintetiki.
- Ajo ti o jọra: O jẹ olupese ti ipilẹ data sintetiki fun ikẹkọ eto adase ati awọn ọran lilo idanwo.
- Kognata: O jẹ olupese kikopa fun ADAS ati awọn olupilẹṣẹ ọkọ ayọkẹlẹ adase.
- Ibọn kekere: O pese awọn API data sintetiki fun ṣiṣẹda awọn agbegbe 3D.
italaya
O ni itan-akọọlẹ gigun ninu Oye atọwọda, ati pe nigba ti o ni ọpọlọpọ awọn anfani, o tun ni awọn idiwọn pataki ti o nilo lati koju nigba ti o n ṣiṣẹ pẹlu data sintetiki.
Nibi ni o wa diẹ ninu wọn:
- Pupọ awọn aṣiṣe le wa lakoko didakọ idiju lati data gangan si data sintetiki.
- Iseda malleable ti o yori si aiṣedeede ninu ihuwasi rẹ.
- O le jẹ diẹ ninu awọn abawọn ti o farapamọ ninu iṣẹ ti awọn algoridimu ikẹkọ nipa lilo awọn aṣoju irọrun ti data sintetiki ti o ti jade laipẹ lakoko ṣiṣe pẹlu data gangan.
- Atunṣe gbogbo awọn abuda ti o yẹ lati data gidi-aye le di idiju. O tun ṣee ṣe pe diẹ ninu awọn aaye pataki le jẹ aṣemáṣe jakejado iṣẹ ṣiṣe yii.
ipari
Ṣiṣejade ti data sintetiki jẹ akiyesi akiyesi eniyan ni kedere.
Ọna yii le ma jẹ idahun-iwọn-gbogbo-iwọn-gbogbo fun gbogbo awọn ọran ti n ṣẹda data.
Yato si, ilana naa le nilo oye nipasẹ AI/ML ati ni anfani lati mu awọn ipo idiju gidi-aye ti ṣiṣẹda data ti o ni ibatan, data pipe ti o dara si agbegbe kan.
Bibẹẹkọ, o jẹ imọ-ẹrọ imotuntun ti o kun aafo nibiti awọn imọ-ẹrọ ti n fun laaye ni ikọkọ ti kuna.
Loni, sintetiki isejade data le nilo ibagbepo ti data masking.
Ni ojo iwaju, ibajọpọ nla le wa laarin awọn mejeeji, ti o mu abajade jijade data-ipinlẹ diẹ sii.
Pin awọn iwo rẹ ninu awọn asọye!
Fi a Reply