Zviri Mukati[Viga][Ratidza]
Yepamberi analytics uye zvirongwa zvekudzidza zvemuchina zvinofambiswa nedata, asi kuwana iyo data kunogona kuomera vadzidzi nekuda kwekunetseka nekuvanzika uye bhizinesi maitiro.
Synthetic data, iyo inogona kugovaniswa uye kushandiswa nenzira dzisingakwanise data chaiyo, inzira nyowani yekutevera. Nekudaro, zano idzva iri harina njodzi kana kukanganisa, saka zvakakosha kuti mabhizinesi anyatsofunga kuti vanoshandisa zviwanikwa zvavo uye sei.
Munguva yazvino yeAI, isu tinogona zvakare kutaura kuti data ndiyo mafuta matsva, asi vashoma chete vakasarudzwa vakagara pane gusher. Naizvozvo, vanhu vazhinji vari kugadzira mafuta avo ega, ayo anokwanisika uye anoshanda. Iyo inozivikanwa se data rekugadzira.
Mune ino positi, isu ticha tarisa zvakadzama nezve synthetic data- nei uchifanira kuishandisa, magadzirirwo ayo, chii chinoita kuti ive yakasiyana neiyo chaiyo data, mashandisiro api anogona kushandira, uye zvimwe zvakawanda.
Saka, chii chinonzi Synthetic Data?
Kana seti yechokwadi yedata isina kukwana maererano nemhando, nhamba, kana kusiyana, data yekugadzira inogona kushandiswa kudzidzisa maAI mamodheru panzvimbo yedata chaiyo yenhoroondo.
Kana data iripo isingagutse zvinodiwa nebhizinesi kana ine njodzi yekuvanzika kana ichishandiswa kugadzira machine learning modhi, bvunzo software, kana zvimwe, data rekugadzira rinogona kuve chishandiso chakakosha chekuedza kwemakambani AI.
Zvichitaurwa zviri nyore, data rekugadzira rinowanzo shandiswa panzvimbo yedata chairo. Kunyanya chaizvo, idata rakange rakatekwa uye rakagadzirwa nekuenzanisa kana komputa algorithms.
Synthetic data iruzivo rwakagadzirwa nepurogiramu yekombuta zvisirizvo kwete semhedzisiro yezvinoitika chaizvo. Makambani anogona kuwedzera data rekugadzira kune yavo yekudzidziswa data kuvhara ese ekushandisa uye epamucheto mamiriro, kuderedza mutengo wekuunganidza data, kana kugutsa mirairo yekuvanzika.
Artificial data ikozvino yave kuwanikwa kupfuura nakare kose nekuda kwekuvandudzwa kwesimba rekugadzirisa uye nzira dzekuchengetedza data segore. Synthetic data inovandudza kusikwa kweAI mhinduro dzinonyanya kubatsira kune vese vashandisi vekupedzisira, uye izvo pasina mubvunzo budiriro yakanaka.
Yakakosha sei data yekugadzira uye nei uchifanira kuishandisa?
Paunenge uchidzidzisa maAI modhi, vanogadzira vanowanzoda hombe dhataseti ine chaiyo label. Kana uchidzidziswa nedata rakasiyana, neural networks ita nemazvo.
Kuunganidza nekuisa mazita aya makuru edataset ane mazana kana mamirioni ezvinhu, zvisinei, zvinogona kuve zvisina musoro- uye mari inopedza. Mutengo wekugadzira data rekudzidzisa unogona kuderedzwa zvakanyanya nekushandisa synthetic data. Semuyenzaniso, kana yagadzirwa zvisirizvo, mufananidzo wekudzidzira unodhura madhora mashanu kana watengwa kubva ku data labeling provider inogona kutengwa ye 0.05 $.
Synthetic data inogona kudzoreredza nyaya dzekuvanzika zvine chekuita ne data inogona kunzwisiswa inogadzirwa kubva kunyika chaiyo uku ichidzikisawo mari.
Mukuenzanisa nedata rechokwadi, iro risingakwanise kunyatso ratidza huwandu hwakazara hwechokwadi pamusoro penyika chaiyo, zvinogona kubatsira kuderedza rusaruro. Nekupa zviitiko zvisina kujairika zvinomiririra zvinogoneka zvinogoneka asi zvingave zvichinetsa kuwana kubva kune zviri pamutemo data, data rekugadzira rinogona kupa kusiyana kukuru.
Synthetic data inogona kunge yakanakira purojekiti yako nekuda kwezvikonzero zvakanyorwa pazasi:
1. Kusimba kwemuenzaniso
Pasina kuti uiwane, shandisa data rakasiyana-siyana remhando dzako. Iine data rekugadzira, unogona kudzidzisa modhi yako uchishandisa akasiyana emunhu mumwechete ane vhudzi rakasiyana siyana, bvudzi rechiso, magirazi, musoro unomira, nezvimwe, pamwe neganda, hunhu hwemadzinza, chimiro chebhonzo, freckles, uye humwe hunhu kugadzira akasiyana. zviso nokuisimbisa.
2. Mamiriro ezvinhu eEdge anotorwa
A balance dataset inosarudzwa nekudzidza muchina algorithms. Funga zvakare kumuenzaniso wedu wekuzivikanwa kwechiso. Kurongeka kwemamodheru avo kungadai kwakavandudzika (uye kutaura zvazviri, mamwe emabhizinesi aya akaita izvi chete), uye vangadai vakagadzira imwe modhi yehutsika dai vakaburitsa data rekugadzira rezviso zvine ganda rakasviba kuti vazadze misi yavo yedata. Matimu anogona kuvhara ese ekushandisa kesi, kusanganisira emupendero makesi apo data iri kushomeka kana kuti isipo, nerubatsiro rwesynthetic data.
3. Inogona kuwanikwa nekukurumidza kupfuura "chaiyo" data
Zvikwata zvinokwanisa kuburitsa huwandu hwakakura hwe data rekugadzira nekukurumidza. Izvi zvinonyanya kubatsira kana iyo chaiyo-yehupenyu data inoenderana nezviitiko zvenguva nenguva. Matimu anogona kuomerwa kuwana data repasirese rakakwana pamamiriro emumugwagwa akakomba uku uchiunganidza data yemotokari inozvityaira, semuenzaniso, nekuda kwekushaikwa kwavo. Kuti ikurumidze kuita basa rekutsanangura, data masayendisiti anogona kuisa algorithms kuti aite otomatiki data rekugadzira sezvarinogadzirwa.
4. Inochengetedza ruzivo rwekuvanzika kwevashandisi
Makambani anogona kuve nematambudziko ekuchengetedza paanenge achibata data rakadzama, zvichienderana nebhizinesi uye rudzi rwe data. Ruzivo rwehutano hwemunhu (PHI), semuenzaniso, rinowanzo kuverengerwa mune yevarwere data muindasitiri yehutano uye inofanirwa kubatwa nekuchengetedzeka kwakanyanya.
Nekuti data rekugadzira harisanganisire ruzivo nezve vanhu chaivo, nyaya dzekuvanzika dzinodzikiswa. Funga kushandisa data rekugadzira seimwe nzira kana timu yako ichifanira kutevedzera mimwe mitemo yekuvanzika kwedata.
Real data Vs Synthetic data
Munyika chaiyo, data chaiyo inowanikwa kana kuyerwa. Kana mumwe munhu akashandisa smartphone, laptop, kana komputa, akapfeka wristwatch, achipinda webhusaiti, kana kuita online transaction, rudzi urwu rwe data runogadzirwa ipapo ipapo.
Pamusoro pezvo, ongororo dzinogona kushandiswa kupa data rechokwadi (pamhepo uye kunze kwenyika). Digital zvigadziriso zvinogadzira data rekugadzira. Kunze kwechikamu chisina kutorwa kubva kune chero zviitiko zvepasirese, data yekugadzira inogadzirwa nenzira inobudirira kutevedzera iyo chaiyo data maererano nehunhu hunokosha.
Pfungwa yekushandisa synthetic data sechinzvimbo che data chairo inovimbisa nekuti inogona kushandiswa kupa kudzidzisa data iyo muchina kudzidza mhando dzinoda. Asi hazvina chokwadi kuti chakagadzirwa njere inogona kugadzirisa nyaya dzese dzinomuka munyika chaimo.
Shandisa maitiro
Synthetic data inobatsira kune dzakasiyana siyana dzekutengesa zvinangwa, zvinosanganisira kudzidzisa modhi, kusimbiswa kwemhando, uye kuyedzwa kwezvigadzirwa zvitsva. Tichanyora mashoma emasekita akatungamira nzira mukushandisa kwayo kudzidza muchina:
1. Nezveutano
Tichifunga nezvekunzwisiswa kwedata rayo, chikamu chehutano chakanyatsokodzera kushandiswa kwedata rekugadzira. Synthetic data inogona kushandiswa nezvikwata kunyora physiologies yerudzi rwese rwemurwere angave aripo, zvichibatsira mukukurumidza uye kwakaringana kuongororwa kwehurwere.
Modhi yeGoogle yekuona melanoma mufananidzo unonakidza weizvi sezvo ichibatanidza data rekugadzira revanhu vane ganda rakasvibira (nzvimbo yekiriniki data inomiririrwa zvinosiririsa) kupa iyo modhi nekwaniso yekushanda nemazvo kune ese marudzi eganda.
2. Mota
Ma simulators anowanzo shandiswa nemakambani anogadzira mota dzinozvityaira kuti dziongorore mashandiro. Kana mamiriro ekunze akaoma, semuenzaniso, kuunganidza data chaiyo yemumugwagwa kunogona kuve nenjodzi kana kunetsa.
Kuvimba nemiedzo mhenyu nemotokari chaidzo mumigwagwa kazhinji harisi zano rakanaka sezvo kuchingove nezvakawanda zvakasiyana zvekufunga nezvazvo mune ese akasiyana mamiriro ekutyaira.
3. Kutakurika kweData
Kuti vakwanise kugovera data ravo rekudzidziswa nevamwe, masangano anoda nzira dzakavimbika uye dzakachengeteka. Kuvanza ruzivo rwemunhu wega (PII) usati waita kuti dataset ive pachena ndeimwe inonakidza application yedata rekugadzira. Kuchinjanisa madatabaseti etsvakiridzo yesainzi, data rezvokurapa, data yezvemagariro evanhu, uye mamwe minda inogona kunge iine PII, inonzi inovanzika-inochengetedza data rekugadzira.
4. chibatiso
Masangano akachengeteka zvakanyanya nekutenda kune synthetic data. Nezvemuenzaniso wedu wekuziva kumeso zvakare, unogona kunge uchiziva mutsara wekuti "deep fakes," unotsanangura mafoto kana mavhidhiyo akagadzirwa. Mafeki akadzika anogona kugadzirwa nemabhizinesi kuyedza kuzivikanwa kwavo kwechiso uye masisitimu ekuchengetedza. Synthetic data inoshandiswawo mukutarisa vhidhiyo kudzidzisa modhi nekukurumidza uye nemutengo wakachipa.
Synthetic Data uye Machine Kudzidza
Kuvaka yakasimba uye yakavimbika modhi, muchina kudzidza algorithms inoda huwandu hwakakura hwe data kuti igadziriswe. Nekushaikwa kwedata rekugadzira, kugadzira vhoriyamu yakakura kudaro yedata kwaizonetsa.
Mumadomasi senge komputa kuona kana kugadzirisa mufananidzo, uko kugadziridzwa kwemamodheru kunofambiswa nekuvandudzwa kwedata rekutanga rekugadzira, inogona kuve yakakosha. Kuvandudza kutsva mumunda wekuzivikanwa kwemifananidzo ndiko kushandiswa kweGenerative Adversarial Networks (GANs). Kazhinji ine network mbiri: jenareta uye rusarura.
Nepo network yerusarura ichivavarira kupatsanura iwo chaiwo mafoto kubva kune emanyepo, jenareta network inoshanda kuburitsa mifananidzo yekugadzira yakafanana zvakanyanya nemifananidzo yepasirese.
Mukudzidza kwemichina, maGAN ichikamu chemhuri yeneural network, uko ese manetwork anoramba achidzidza nekuvandudza nekuwedzera node nyowani uye akaturikidzana.
Paunenge uchigadzira data rekugadzira, une sarudzo yekushandura nharaunda uye rudzi rwe data sezvinodiwa kuti uwedzere kuita kwemuenzaniso. Nepo chokwadi chedata rekugadzira chinogona kuwanikwa zviri nyore nechibodzwa chakasimba, chokwadi che data chakanyorwa-chaiyo-nguva inogona kudhura zvakanyanya.
Ungagadzira sei data rekugadzira?
Nzira dzinoshandiswa kugadzira dhizaini yekuunganidza data ndedzinotevera:
Kubva pakugovera kwenhamba
Mazano anoshandiswa munyaya iyi kutora nhamba kubva pakugovera kana kutarisa kugovera kwenhamba chaidzo kuitira kugadzira data renhema rinotaridzika kuenzaniswa. Data chaiyo inogona kunge isipo zvachose mune mamwe mamiriro.
Sainzi wedata anogona kugadzira dhata rine sampuli isina kurongeka yekugovera chero kupi kana aine nzwisiso yakadzama yekugovera kwenhamba mune chaiyo data. Kugovaniswa kwakajairika, kugovera kweexponential, chi-square kugovera, lognormal kugovera, uye nezvimwe ingori mienzaniso mishoma yekugoverwa kwehuwandu hunogona kushandiswa kuita izvi.
Iyo data sainzi nhanho yeruzivo nemamiriro ezvinhu ichave nemhedzisiro yakakosha pakurongeka kwemuenzaniso wakadzidziswa.
Zvichienderana nemuenzaniso
Iyi nzira inovaka modhi inoverengera maitiro akacherechedzwa isati yashandisa iyo modhi kugadzira zvisina tsarukano data. Muchidimbu, izvi zvinosanganisira kukodzera data chaiyo kune data kubva kune inozivikanwa kugovera. Nzira yeMonte Carlo inogona kuzoshandiswa nemakambani kugadzira data remanyepo.
Mukuwedzera, kugovera kunogonawo kuiswa nekushandisa michina yekudzidza mamodheru semiti yesarudzo. Data masayendisiti inofanirwa kutarisisa kune iyo yekufanotaura, kunyange zvakadaro, sezvo miti yesarudzo inowanzokwirisa nekuda kwekureruka kwayo uye nekuwedzera kwakadzika.
Nokudzidza kwakadzama
Kudzidza zvakadzika modhi dzinoshandisa Variational Autoencoder (VAE) kana Generative Adversarial Network (GAN) modhi inzira mbiri dzekugadzira data rekugadzira. Michina yekudzidza isingatarisirwe mhando dzinosanganisira maVAE.
Iwo anoumbwa nema encoder, ayo anoderera uye compact data yekutanga, uye decoder, iyo inoongorora iyi data kuti ipe humbowo hweiyo data chaiyo. Kuchengeta data rekupinza uye rekubuda rakafanana sezvinobvira ndicho chinangwa chikuru cheVAE. Maviri anopokana neural network maGAN modhi uye adversarial network.
Iyo yekutanga network, inozivikanwa se generator network, inotungamira kugadzira data remanyepo. Iyo network yekusarura, yechipiri network, inoshanda nekuenzanisa yakasikwa data data neiyo chaiyo data mukuyedza kuona kana dhatabheti ine chitsotsi. Musarura anozivisa jenareta kana yawana dataset yenhema.
Iyo inotevera batch yedata yakapihwa kune kusarura inozogadziriswa nejenareta. Nekuda kweizvozvo, musarura anova nani nekufamba kwenguva pakuona bogus dataset. Rudzi urwu rwemuenzaniso runowanzo shandiswa muchikamu chezvemari pakuona hutsotsi pamwe nechikamu chezvehutano chekufungidzira kwekurapa.
Data Augmentation inzira yakasiyana inoshandiswa nesainzi data kuburitsa mamwe data. Izvo hazvifanirwe kukanganisa nedata rekunyepedzera, zvakadaro. Zvichingotaura, kuwedzera data chiitiko chekuwedzera data nyowani kune chaiyo dataset yatovepo.
Kugadzira mapikicha akati wandei kubva pamufananidzo mumwe, semuenzaniso, nekugadzirisa kutaridzika, kupenya, kukudza, nezvimwe. Dzimwe nguva, iyo chaiyo data seti inoshandiswa neruzivo rwemunhu chete rwasara. Data anonymization ndizvo izvi, uye seti yedata rakadaro haifanirwe kutorwa se data rekugadzira.
Zvinetso uye zvisingakwanisi Synthetic data
Kunyangwe data rekugadzira riine akasiyana mabhenefiti anogona kubatsira mafemu nezviitiko zvesainzi yedata, inewo zvimwe zvipimo:
- Kuvimbika kwedata: Izvo zvakajairika kuziva kuti muchina wega wega kudzidza / kudzika kudzidza modhi yakanaka chete se data rainodyiswa. Hunhu hwe data rekugadzira mune ino chirevo hwakabatana zvakanyanya nemhando ye data yekuisa uye modhi inoshandiswa kugadzira iyo data. Izvo zvakakosha kuve nechokwadi kuti hapana kusarura kuripo mune iyo sosi data, sezvo izvi zvichigona kunyatso kuratidzwa mu data rekugadzira. Uyezve, usati waita chero fungidziro, iyo data data inofanirwa kusimbiswa uye kusimbiswa.
- Zvinoda ruzivo, kushanda nesimba, uye nguva: Nepo kugadzira data rekugadzira kungave nyore uye kusingadhure pane kugadzira data chairo, kunoda ruzivo, nguva, uye kushanda nesimba.
- Replicate anomalies: Iyo yakakwana replica yechokwadi-yepasi data haigoneke; synthetic data inogona kungozvifungira. Naizvozvo, mamwe ekunze aripo mune chaiyo data anogona kunge asina kuvharwa nesynthetic data. Data anomalies yakakosha kudarika data yakajairwa.
- Kudzora kugadzirwa uye kuve nechokwadi chemhando: Synthetic data inoitirwa kudzokorora data renyika chaiyo. Data manual verification inova yakakosha. Izvo zvakakosha kuti uone chokwadi cheiyo data usati waiisa mumuchina kudzidza/yakadzama yekudzidza modhi yeakaomeswa datasets anogadzirwa otomatiki uchishandisa algorithms.
- Mhinduro yemushandisi: Sezvo data rekugadzira iri nganonyorwa, haasi munhu wese achagadzirira kutenda fungidziro yakaitwa nayo. Izvi zvinoratidza kuti kuti uwedzere kugamuchirwa kwevashandisi, zvinofanirwa kutanga kusimudza ruzivo rwekushandiswa kwedata rekugadzira.
Future
Kushandiswa kwedata rekugadzira kwakawedzera zvakanyanya mumakore gumi apfuura. Kunyange ichichengetedza makambani nguva nemari, haina zvipingamupinyi zvayo. Iyo inoshaya zvekubuda kunze, izvo zvinowanzoitika mune chaiyo data uye zvakakosha kune chokwadi mune mamwe mamodheru.
Izvo zvakakoshawo kucherechedza kuti mhando yedhata yekugadzira inowanzotsamira pane data rekuisa rinoshandiswa kugadzira; kurerekera mune yekuisa data kunogona kukurumidza kupararira mune yekugadzira data, nekudaro kusarudza yemhando yepamusoro data sepokutangira haifanirwe kuwedzeredzwa.
Chekupedzisira, inoda humwe hutongi hwekubuda, kusanganisira kuenzanisa data rekugadzira nedata remunhu-yakatsanangurwa chaiyo kuona kuti kusawirirana hakuna kuunzwa. Pasinei nezvipingamupinyi izvi, data yekugadzira inoramba iri munda unovimbisa.
Iyo inotibatsira kugadzira inoveli AI mhinduro kunyangwe chaiyo-yenyika data isipo. Zvakanyanya kukosha, zvinoita kuti mabhizinesi agadzire zvigadzirwa zvinosanganisirwa uye zvinoratidza kusiyana kwevatengi vavo.
Mune ramangwana rinofambiswa nedata, zvisinei, data rekugadzira rinovavarira kubatsira masayendisiti edata kuita riwaya uye mabasa ekugadzira ayo angave akaoma kupedza nedata chairo renyika chete.
mhedziso
Mune zvimwe zviitiko, data rekugadzira rinogona kuderedza kushomeka kwedata kana kushomeka kwe data rakakosha mukati mebhizinesi kana sangano. Isu takatarisa zvakare kuti ndedzipi nzira dzinogona kubatsira mukugadzira data rekugadzira uye ndiani anogona purofiti kubva pazviri.
Takataurawo nezve mamwe matambudziko anouya nekubata ne data rekugadzira. Pakuita sarudzo dzekutengesa, data chaiyo inogara ichifarirwa. Nekudaro, data rechokwadi ndiyo inotevera yakanakisa sarudzo kana iyo yechokwadi data yakasvibira isingawanikwe kuti iongororwe.
Nekudaro, zvinofanirwa kuyeukwa kuti kuitira kugadzira data rekugadzira, data masayendisiti ane kubata kwakasimba kwe data modelling inodiwa. Kunyatsonzwisiswa kweiyo data chaiyo nenzvimbo dzayo kwakakosha zvakare. Izvi zvakakosha kuve nechokwadi chekuti, kana iripo, data rakagadzirwa rakarurama sezvinobvira.
Leave a Reply