Tafole ea likateng[Pata][Bontša]
Mananeo a tsoetseng pele a analytics le ho ithuta ka mochini a tsamaisoa ke data, empa phihlello ea data eo e ka ba thata bakeng sa barutehi ka lebaka la liphephetso tsa boinotši le mekhoa ea khoebo.
Lintlha tsa maiketsetso, tse ka arolelanoang le ho sebelisoa ka litsela tseo data ea sebele e ke keng ea khona, ke tsela e ncha eo u ka e latelang. Leha ho le joalo, leano lena le lecha ha le na likotsi kapa bofokoli, kahoo ho bohlokoa hore likhoebo li nahane ka hloko hore na li sebelisa lisebelisoa tsa tsona hokae le joang.
Nakong ea hona joale ea AI, re ka boela ra bolela hore data ke oli e ncha, empa ke ba seng bakae feela ba khethiloeng ba lutseng holim'a gusher. Ka hona, batho ba bangata ba iketsetsa mafura, a theko e tlaase le a sebetsang hantle. E tsejoa e le data ea maiketsetso.
Ka poso ena, re tla shebisisa lintlha tsa maiketsetso - hore na ke hobane'ng ha u lokela ho li sebelisa, mokhoa oa ho li hlahisa, hore na ke eng e etsang hore e fapane le data ea sebele, hore na e ka sebetsa linyeoe life, le tse ling tse ngata.
Joale, Synthetic Data ke eng?
Ha lisebelisoa tsa 'nete tsa data li sa lekana ho latela boleng, palo, kapa ho fapana, data ea maiketsetso e ka sebelisoa ho koetlisa mehlala ea AI sebakeng sa data ea nnete ea nalane.
Ha data e teng e sa khotsofatse litlhoko tsa khoebo kapa e na le likotsi tsa lekunutu ha e sebelisoa ho ntlafatsa ho ithuta mochine mehlala, software ea liteko, kapa tse ling tse joalo, data ea maiketsetso e ka ba sesebelisoa sa bohlokoa bakeng sa boiteko ba khoebo ba AI.
Ka mantsoe a bonolo feela, data ea maiketsetso e sebelisoa khafetsa sebakeng sa data ea 'nete. Hantle-ntle, ke data e tšoailoeng ka maiketsetso le ho hlahisoa ke lipapiso kapa li-algorithms tsa khomphutha.
Synthetic data ke tlhahisoleseding e entsoeng ke lenaneo la k'homphieutha ka maiketsetso eseng ka lebaka la liketsahalo tsa sebele. Likhamphani li ka kenya data ea maiketsetso ho data ea bona ea koetliso ho koahela maemo ohle a ts'ebeliso le maemo, ho fokotsa litšenyehelo tsa ho bokella lintlha, kapa ho khotsofatsa melaoana ea lekunutu.
Lintlha tsa maiketsetso li se li fumaneha ho feta leha e le neng pele ka lebaka la ntlafatso ea matla a ho sebetsa le mekhoa ea polokelo ea data joalo ka leru. Lintlha tsa maiketsetso li ntlafatsa tlhahiso ea litharollo tsa AI tse molemo ho basebelisi bohle ba ho qetela, 'me ntle le pelaelo ke nts'etsopele e ntle.
Lintlha tsa maiketsetso li bohlokoa hakae, 'me ke hobane'ng ha u lokela ho li sebelisa?
Ha ba koetlisa mefuta ea AI, hangata bahlahisi ba hloka li-database tse kholo tse nang le mabitso a nepahetseng. Ha e rutoa ka lintlha tse fapaneng, marangrang a neural sebetsa ka nepo ho feta.
Ho bokella le ho ngola li-database tsena tse kholo tse nang le lintho tse makholo kapa esita le limilione, leha ho le joalo, ho ka senya nako le chelete ka tsela e sa utloahaleng. Theko ea ho hlahisa lintlha tsa koetliso e ka fokotsoa haholo ka ho sebelisa data ea maiketsetso. Mohlala, haeba e entsoe ka maiketsetso, setšoantšo sa koetliso se bitsang $5 ha se rekoa ho mofani oa data labeling e ka bitsa $0.05 feela.
Lintlha tsa maiketsetso li ka fokotsa mathata a lekunutu a amanang le data e ka bang kotsi e hlahisoang ke lefatše la 'nete ha e ntse e fokotsa litšenyehelo.
Ha ho bapisoa le boitsebiso ba 'nete, bo neng bo ke ke ba bonahatsa ka ho hlaka lintlha tse ngata ka lefatše la sebele, bo ka thusa ho fokotsa leeme. Ka ho fana ka liketsahalo tse sa tloaelehang tse emelang menyetla e utloahalang empa ho ka 'na ha e-ba thata ho fumana boitsebiso bo nepahetseng, boitsebiso ba maiketsetso bo ka fana ka mefuta e mengata e fapaneng.
Lintlha tsa maiketsetso li ka lekana hantle bakeng sa projeke ea hau ka mabaka a thathamisitsoeng ka tlase:
1. The robustness ea mohlala
Ntle le hore u e fumane, fumana lintlha tse fapaneng tsa mefuta ea hau. Ka data ea maiketsetso, u ka koetlisa mohlala oa hau u sebelisa mefuta e fapaneng ea motho a le mong ea nang le mefuta e fapaneng ea ho kuta moriri, moriri oa sefahleho, likhalase, boemo ba hlooho, joalo-joalo, hammoho le letlalo, sebopeho sa morabe, sebopeho sa masapo, matheba le litšobotsi tse ling ho hlahisa tse ikhethang. lifahleho le ho e matlafatsa.
2. Linyeoe tsa Edge li nkoa
E leka-lekaneng dataset e ratoa ke ho ithuta ka mochini algorithms. Nahana ka mohlala oa rona oa ho lemoha sefahleho. Ho nepahala ha mehlala ea bona ho ka be ho ntlafetse ('me ha e le hantle, tse ling tsa likhoebo tsena li entse sena feela),' me li ka be li hlahisitse mohlala oa boitšoaro bo bongata haeba li ne li hlahisitse lintlha tsa maiketsetso tsa lifahleho tse lefifi ho tlatsa likheo tsa bona tsa data. Lihlopha li ka koahela linyeoe tsohle tsa ts'ebeliso, ho kenyeletsoa le maemo a holimo moo data e haellang kapa e le sieo, ka thuso ea data ea maiketsetso.
3. E ka fumanoa kapele ho feta "data" ea sebele
Lihlopha li khona ho hlahisa lintlha tse ngata tsa maiketsetso kapele. Sena se bohlokoa haholo ha lintlha tsa 'nete tsa bophelo li ipapisitse le liketsahalo tse etsahalang hang-hang. Lihlopha li ka fumana ho le thata ho fumana lintlha tse lekaneng tsa lefats'e la 'nete mabapi le maemo a boima a litsela ha li ntse li bokella lintlha tsa koloi e itsamaisang, mohlala, ka lebaka la ho haella ha tsona. E le ho potlakisa ts'ebetso e boima ea litlhaloso, bo-rasaense ba data ba ka etsa li-algorithms ho ngola data ea maiketsetso ha e ntse e hlahisoa.
4. E boloka boitsebiso ba lekunutu ba mosebedisi
Likhamphani li kanna tsa ba le mathata a ts'ireletso ha li ntse li sebetsana le data ea bohlokoa, ho latela khoebo le mofuta oa data. Lintlha tsa bophelo bo botle ba motho (PHI), mohlala, hangata li kenyeletsoa boitsebisong ba bakuli ba sepetlele indastering ea tlhokomelo ea bophelo 'me li tlameha ho sebetsoa ka tšireletseho e matla.
Hobane data ea maiketsetso ha e kenyelletse tlhahisoleseling mabapi le batho ba nnete, litaba tsa lekunutu lia fokotseha. Nahana ka ho sebelisa data ea maiketsetso e le mokhoa o mong haeba sehlopha sa hau se tlameha ho latela melao e itseng ea lekunutu.
Lintlha tsa 'nete Vs Synthetic data
Lefatšeng la 'nete, data ea sebele e fumanoa kapa e lekanngoa. Ha motho a sebelisa smartphone, laptop, kapa komporo, a roala oache ea letsoho, a kena sebakeng sa marang-rang, kapa a etsa transaction inthaneteng, mofuta ona oa data o hlahisoa hang-hang.
Ho feta moo, lipatlisiso li ka sebelisoa ho fana ka lintlha tsa 'nete (inthaneteng le kantle ho naha). Litlhophiso tsa dijithale li hlahisa data ea maiketsetso. Ntle le karolo e neng e sa tsoa liketsahalong leha e le life tsa sebele tsa lefatše, boitsebiso ba maiketsetso bo bōptjoa ka tsela e atlehang ho etsisa boitsebiso ba sebele ho latela litšoaneleho tsa motheo.
Mohopolo oa ho sebelisa data ea maiketsetso e le sebaka sa data ea 'nete oa ts'episa haholo hobane o ka sebelisoa ho fana ka data ea koetliso eo ho ithuta ka mochini mehlala e hloka. Empa ha ho na bonnete ba hore bohlale ba maiketsetso e ka rarolla bothata bo bong le bo bong bo hlahang lefatšeng la sebele.
Sebelisa linyeoe
Lintlha tsa maiketsetso li na le thuso bakeng sa merero e fapaneng ea khoebo, ho kenyelletsa koetliso ea mohlala, netefatso ea mohlala, le tlhahlobo ea lihlahisoa tse ncha. Re tla thathamisa a 'maloa a mafapha a etelletseng pele ts'ebelisong ea ona ea ho ithuta ka mochini:
1. Tlhokomelo ea bophelo
Ka lebaka la kutloisiso ea lintlha tsa eona, lefapha la tlhokomelo ea bophelo bo botle le loketse hantle bakeng sa tšebeliso ea data ea maiketsetso. Lintlha tsa maiketsetso li ka sebelisoa ke lihlopha ho hatisa 'mele oa mokuli oa mofuta o mong le o mong o ka bang teng, ka hona, ho thusa ho lemoha mafu ka potlako le ka nepo haholoanyane.
Moetso oa Google oa ho lemoha melanoma ke papiso e khahlang ea sena kaha o kenyelletsa data ea maiketsetso ea batho ba nang le letlalo le lefifi (sebaka sa tlhaiso-leseling ea bongaka eo ka masoabi e sa emeloeng) ho fana ka moetso ona ka bokhoni ba ho sebetsa hantle bakeng sa mefuta eohle ea letlalo.
2. Likoloi
Hangata li-simulator li sebelisoa ke lik'hamphani tse etsang likoloi tse itsamaisang ho lekola tšebetso. Ha boemo ba leholimo bo le bobe, mohlala, ho bokella lintlha tsa 'nete ho ka ba kotsi kapa ho thata.
Ho itšetleha ka liteko tse phelang ka likoloi tsa 'nete litseleng hangata ha se mohopolo o motle kaha ho na le mefuta e mengata haholo e lokelang ho nahanoa maemong ohle a fapaneng a ho khanna.
3. Ho nkeha ha Data
Ho khona ho arolelana lintlha tsa bona tsa koetliso le ba bang, mekhatlo e hloka mekhoa e tšepahalang le e sireletsehileng. Ho pata litaba tse identifiable (PII) pele o etsa hore dataset e phatlalatse ke ts'ebeliso e 'ngoe e khahlang ea data ea maiketsetso. Ho fapanyetsana lintlha tsa lipatlisiso tsa mahlale, lintlha tsa bongaka, litaba tsa kahisano, le likarolo tse ling tse ka bang le PII, li bitsoa data ea maiketsetso e bolokang lekunutu.
4. Security
Mekhatlo e bolokehile haholoanyane ka lebaka la data ea maiketsetso. Mabapi le mohlala oa rona oa ho lemoha sefahleho hape, u kanna oa tloaelana le poleloana "deep fakes," e hlalosang linepe kapa livideo tse iqapetsoeng. Likhoebo tse tebileng li ka hlahisoa ke likhoebo ho leka ho lemoha sefahleho sa bona le lits'ebetso tsa ts'ireletso. Lintlha tsa maiketsetso li boetse li sebelisoa ho lekola livideo ho koetlisa mehlala ka potlako le ka theko e tlase.
Lintlha tsa Synthetic le ho Ithuta ka Mechini
Ho theha mofuta o tiileng le o tšepahalang, li-algorithms tsa ho ithuta ka mochini li hloka palo e kholo ea data e lokelang ho sebetsoa. Ha ho ne ho se na data ea maiketsetso, ho hlahisa boitsebiso bo bongata hakaalo e ne e tla ba phephetso.
Likarolong tse kang pono ea komporo kapa ts'ebetso ea litšoantšo, moo nts'etsopele ea mehlala e nolofalitsoeng ke nts'etsopele ea data ea pele ea maiketsetso, e ka ba ea bohlokoa haholo. Khatelo-pele e ncha lefapheng la ho lemoha litšoantšo ke tšebeliso ea Generative Adversarial Networks (GANs). Hangata e na le marang-rang a mabeli: jenereithara le khethollo.
Le hoja marang-rang a khethollo a ikemiselitse ho arola lifoto tsa sebele ho tse seng tsa nnete, marang-rang a jenereithara a sebetsa ho hlahisa litšoantšo tsa maiketsetso tse tšoanang haholo le litšoantšo tsa sebele tsa lefatše.
Thutong ea mochini, li-GAN ke karoloana ea malapa a marang-rang a marang-rang, moo marang-rang ka bobeli a tsoelang pele ho ithuta le ho nts'etsapele ka ho eketsa li-node le likarolo tse ncha.
Ha u theha data ea maiketsetso, u na le khetho ea ho fetola tikoloho le mofuta oa data kamoo ho hlokahalang ho ntlafatsa ts'ebetso ea mohlala. Le hoja ho nepahala ha data ea maiketsetso ho ka finyelloa habonolo ka lintlha tse matla, ho nepahala ha data e ngotsoeng ka nako ea sebele ho ka ba theko e boima haholo ka linako tse ling.
U ka etsa joang data ea maiketsetso?
Mekhoa e sebelisoang ho theha pokello ea data ea maiketsetso ke e latelang:
E ipapisitse le kabo ea lipalo
Leano le sebelisitsoeng tabeng ena ke ho nka linomoro ho tloha kabong kapa ho sheba kabo ea sebele ea lipalo-palo e le ho etsa data ea bohata e shebahalang e ka bapisoa. Lintlha tsa 'nete li kanna tsa ba sieo ka botlalo maemong a mang.
Setsebi sa data se ka hlahisa dataset e nang le sampole e sa reroang ea kabo efe kapa efe haeba a na le kutloisiso e tebileng ea kabo ea lipalo ho data ea 'nete. Kabo e tloaelehileng, kabo e hlakileng, kabo ea chi-square, kabo ea molao, le tse ling ke mehlala e seng mekae feela ea kabo ea menyetla ea lipalo e ka sebelisoang ho etsa sena.
Boemo ba rasaense oa data ka boemo bo tla ba le tšusumetso e kholo ho nepahala ha mohlala o koetlisitsoeng.
Ho itšetlehile ka mohlala
Mokhoa ona o theha mohlala o ikarabellang bakeng sa boitšoaro bo hlokometsoeng pele o sebelisa mohlala oo ho hlahisa data e sa reroang. Ha e le hantle, sena se kenyelletsa ho kenyelletsa data ea 'nete ho data ho tsoa kabong e tsebahalang. Mokhoa oa Monte Carlo joale o ka sebelisoa ke likhoebo ho theha data ea bohata.
Ho feta moo, lisebelisoa li ka sebelisoa hape mehlala ea ho ithuta mochini joalo ka lifate tsa liqeto. Bo-rasaense ba data Leha ho le joalo, e tlameha ho ela hloko ponelopele, kaha lifate tsa liqeto li atisa ho feta ka lebaka la bonolo le katoloso e tebileng.
Ka thuto e tebileng
Ho ithuta ka botebo mefuta e sebelisang mefuta ea Variational Autoencoder (VAE) kapa Generative Adversarial Network (GAN) ke mekhoa e 'meli ea ho etsa data ea maiketsetso. Mefuta e sa behoang leihlo ea ho ithuta ka mochini e kenyelletsa li-VAE.
Li entsoe ka li-encoder, tse fokotsang le ho kopanya lintlha tsa pele, le li-decoder, tse hlahlobang lintlha tsena ho fana ka setšoantšo sa lintlha tsa sebele. Ho boloka lintlha tse kenang le tse hlahisoang li tšoana ka hohle kamoo ho ka khonehang ke sepheo sa mantlha sa VAE. Marang-rang a mabeli a hanyetsanang a neural ke mefuta ea GAN le marang-rang a bahanyetsi.
Marang-rang a pele, a tsejoang e le marang-rang a jenereithara, a ikarabella bakeng sa ho hlahisa data ea bohata. Marang-rang a khethollo, marang-rang a bobeli, a sebetsa ka ho bapisa data e entsoeng ka maiketsetso le data ea sebele ka boiteko ba ho tseba hore na dataset ke ea bolotsana. Khethollo e lemosa jenereithara ha e sibolla pokello ea data ea bohata.
Sehlopha se latelang sa data se fanoeng ho khethollo se fetoloa ke jenereithara. Ka lebaka leo, mokhethoa o ntlafala ha nako e ntse e feta ha a bona li-dataset tsa bohata. Mofuta ona oa mofuta o sebelisoa hangata lefapheng la lichelete bakeng sa ho lemoha bomenemene hammoho le lefapheng la tlhokomelo ea bophelo bakeng sa litšoantšo tsa bongaka.
Data Augmentation ke mokhoa o fapaneng oo bo-ramahlale ba data ba o sebelisang ho hlahisa lintlha tse ngata. Leha ho le joalo, ha ea lokela ho fosoa ka data ea bohata. Ka mantsoe a bonolo feela, ho eketsa data ke ketso ea ho eketsa data e ncha ho dataset ea 'nete e seng e ntse e le teng.
Ho etsa litšoantšo tse 'maloa ho tsoa setšoantšong se le seng, mohlala, ka ho lokisa chebahalo, ho khanya, ho hōlisa, le tse ling. Ka linako tse ling, sete ea data ea sebele e sebelisoa ho setse feela tlhahisoleseding ea botho. Ho tsebahatsa data ke hore na sena ke eng, 'me sete ea data e joalo le eona ha ea lokela ho nkuoa e le data ea maiketsetso.
Mathata le mefokolo ea Synthetic data
Leha data ea maiketsetso e na le melemo e fapaneng e ka thusang lifeme ka mesebetsi ea mahlale a data, e boetse e na le meeli e itseng:
- Ho tšepahala ha data: Hoa tsebahala hore mochini o mong le o mong oa ho ithuta / oa ho ithuta o tebileng o hantle feela joalo ka data eo o e feptjoang. Boleng ba boitsebiso ba maiketsetso tabeng ena bo amana ka matla le boleng ba boitsebiso ba ho kenya le mohlala o sebelisetsoang ho hlahisa lintlha. Ho bohlokoa ho etsa bonnete ba hore ha ho na leeme le teng mohloling oa data, kaha tsena li ka bonoa ka ho hlaka ho data ea maiketsetso. Ho feta moo, pele o etsa likhakanyo life kapa life, boleng ba data bo lokela ho netefatsoa le ho netefatsoa.
- E hloka tsebo, boiteko le nako: Leha ho theha data ea maiketsetso ho ka ba bonolo le ho theko e tlase ho feta ho theha data ea 'nete, ho hloka tsebo, nako le boiteko.
- Ho pheta-pheta anomalies: Papiso e phethahetseng ea data ea lefats'e ha e khonehe; data ya maiketsetso e ka e hakanya feela. Ka hona, likarolo tse ling tse fumanehang ho data ea 'nete li kanna tsa se ke tsa koaheloa ke data ea maiketsetso. Litlhaloso tsa data li bohlokoa ho feta data e tloaelehileng.
- Ho laola tlhahiso le ho netefatsa boleng: Lintlha tsa maiketsetso li reretsoe ho pheta-pheta litaba tsa lefatše la sebele. Netefatso ea letsoho ea data e ba ea bohlokoa. Ho bohlokoa ho netefatsa bonnete ba lintlha pele u li kenyelletsa mefuteng ea ho ithuta ka mochini / mekhoa ea ho ithuta e tebileng bakeng sa li-dataset tse rarahaneng tse iketselitsoeng ka mokhoa oa ho sebelisa li-algorithms.
- Boitsebiso ba mosebedisi: Kaha data ea maiketsetso ke mohopolo o mocha, ha se motho e mong le e mong ea tla beng a itokiselitse ho lumela ponelopele e entsoeng ka eona. Sena se bontša hore molemong oa ho eketsa kamohelo ea basebelisi, ho hlokahala pele ho phahamisa tsebo ea tšebeliso ea data ea maiketsetso.
nakong e tlang
Tšebeliso ea data ea maiketsetso e eketsehile haholo lilemong tse leshome tse fetileng. Le hoja e boloka lik'hamphani nako le chelete, ha e na mathata a eona. E haelloa ke li-outliers, tse hlahang ka tlhaho ho data ea sebele 'me li bohlokoa bakeng sa ho nepahala mefuteng e meng.
Hape ke habohlokoa ho hlokomela hore boleng ba data ea maiketsetso hangata bo itšetlehile ka boitsebiso ba ho kenya bo sebelisetsoang pōpo; Litšekamelo tsa data tse kentsoeng li ka ata kapele ho data ea maiketsetso, ka hona, ho khetha data ea boleng bo holimo joalo ka qaleho ha ea lokela ho fetisoa.
Qetellong, e hloka taolo e eketsehileng ea tlhahiso, ho kenyelletsa le ho bapisa data ea maiketsetso le data ea 'nete e boletsoeng ke batho ho netefatsa hore liphapang ha li hlahisoe. Ho sa tsotellehe litšitiso tsena, data ea maiketsetso e ntse e le tšimo e tšepisang.
E re thusa ho theha litharollo tse ncha tsa AI le ha data ea lefats'e ea nnete e le sieo. Habohlokoa le ho feta, e thusa likhoebo ho aha lihlahisoa tse kenyeletsang le tse bonts'ang ho se tšoane ha bareki.
Leha ho le joalo, bokamosong bo tsamaisitsoeng ke data, data ea maiketsetso e ikemiselitse ho thusa bo-ramahlale ba data ho etsa mesebetsi e mecha le ea boqapi eo ho ka bang thata ho e qeta ka data ea 'nete feela.
fihlela qeto e
Maemong a mang, data ea maiketsetso e ka fokotsa khaello ea data kapa khaello ea data e nepahetseng ka har'a khoebo kapa mokhatlo. Re boetse re shebile hore na ke maano afe a ka thusang ho hlahisa data ea maiketsetso le hore na ke mang ea ka ruang molemo ho eona.
Hape re buile ka a mang a mathata a tlisoang ke ho sebetsana le data ea maiketsetso. Bakeng sa ho etsa liqeto tsa khoebo, data ea sebele e tla lula e ratoa. Leha ho le joalo, data ea sebele ke khetho e latelang e ntle ha data e tala ea 'nete e sa fumanehe bakeng sa tlhahlobo.
Leha ho le joalo, e tlameha ho hopoloa hore e le ho hlahisa data ea maiketsetso, bo-rasaense ba data ba nang le kutloisiso e tiileng ea mohlala oa data baa hlokahala. Kutloisiso e phethahetseng ea data ea 'nete le tikoloho ea eona e bohlokoa hape. Sena se bohlokoa ho etsa bonnete ba hore, haeba e le teng, data e hlahisitsoeng e nepahetse ka moo ho ka khonehang.
Leave a Reply