Luchd-saidheans dàta agus bidh proifeiseantaich ionnsachadh innealan a’ dèiligeadh ri àireamh mhòr de dhàta de dhiofar seòrsa ann am pròiseact saidheans dàta àbhaisteach. Chaidh grunn mhodalan a leasachadh le diofar rèiteachaidhean agus feartan, a bharrachd air iomadach tionndadh de ghleusadh paramadair gus an coileanadh as fheàrr fhaighinn.
Ann an suidheachadh mar sin, feumar sùil a chumail air a h-uile atharrachadh dàta agus atharrachadh pròiseas togail modail agus a thomhas gus faighinn a-mach dè a dh’ obraich agus dè nach do rinn. Tha e deatamach cuideachd a bhith comasach air a dhol air ais gu deasachadh roimhe agus coimhead air builean roimhe.
Tha Smachd Tionndadh Dàta (DVC), a bhios a’ cuideachadh le bhith a’ stiùireadh an dàta, am modail bunaiteach, agus a’ ruith builean ath-ghinte, mar aon de theicneòlas den leithid a leigeas leinn sùil a chumail air seo uile.
Anns an dreuchd seo, bheir sinn sùil gheur air Smachd Tionndadh Dàta, agus na h-innealan as fheàrr airson a chleachdadh. Feuch an tòisich sinn.
Dè a th’ ann an Smachd Tionndadh Dàta?
Tha feum air tionndadh airson a h-uile siostam toraidh. Aon àite cothrom air an dàta as ùire. Feumaidh goireas sam bith a thèid atharrachadh gu tric, gu sònraichte le grunn luchd-cleachdaidh aig an aon àm, slighe sgrùdaidh a chruthachadh gus sùil a chumail air a h-uile atharrachadh.
Tha e an urra ris an t-siostam smachd dreach dèanamh cinnteach gu bheil a h-uile duine san sgioba air an aon duilleag. Tha e cinnteach gu bheil a h-uile duine san sgioba ag obair air an dreach as ùire den fhaidhle agus, nas cudromaiche, gu bheil a h-uile duine a’ co-obrachadh air an aon phròiseact aig aon àm.
Ma tha an uidheamachd cheart agad, faodaidh tu seo a choileanadh le glè bheag oidhirp!
Bidh seataichean dàta cunbhalach agad agus tasglann coileanta den rannsachadh agad gu lèir ma chleachdas tu ro-innleachd riaghlaidh dreach dàta earbsach. Tha innealan tionndadh dàta deatamach airson do shruth-obrach ma tha dragh ort mu ath-riochdachadh, lorg, agus eachdraidh modail ML.
Cuidichidh iad thu gus dreach de nì fhaighinn, leithid hash de sheata dàta no mhodail, as urrainn dhut an uairsin a chleachdadh airson aithneachadh agus coimeas a dhèanamh. Bidh an dreach dàta seo gu tric air a chuir a-steach don fhuasgladh riaghlaidh meata-dàta agad gus dèanamh cinnteach gu bheil an trèanadh modail agad air a thionndadh agus air ath-aithris.
Innealan Smachd Tionndadh Dàta as fheàrr
A-nis tha an t-àm ann coimhead air na fuasglaidhean smachd dreach dàta as fheàrr a tha rim faighinn, as urrainn dhut a chleachdadh gus sùil a chumail air gach pàirt den chòd agad.
1. git-lfs
Tha am pròiseact Git LFS saor an-asgaidh a chleachdadh. Taobh a-staigh Git, thèid comharran teacsa a chuir an àite faidhlichean mòra leithid sampallan claisneachd, bhideothan, stòran-dàta, agus dealbhan, agus tha susbaint an fhaidhle air a shàbhaladh air frithealaiche iomallach mar GitHub.com no GitHub Enterprise.
Leigidh e leat Git a chleachdadh gus faidhlichean fìor mhòr a thionndadh - suas ri grunn GB ann am meud - barrachd aoigheachd a thoirt do na stòran Git agad a’ cleachdadh stòradh taobh a-muigh, agus clonadh agus lorg stòran faidhle mòra nas luaithe. Nuair a thig e gu riaghladh dàta, is e fuasgladh gu math aotrom a tha seo. Gus obrachadh le Git, chan fheum thu òrdughan, siostaman stòraidh no innealan a bharrachd.
Tha e a 'cuingealachadh na tha de dh'fhiosrachadh a luchdaicheas tu sìos. Tha seo a’ ciallachadh gum bi e nas luaithe clonadh agus faighinn air ais faidhlichean mòra bho stòran-tasgaidh. Tha na comharran air an dèanamh de stuth nas aotroime agus a’ comharrachadh an LFS.
Mar thoradh air an sin, nuair a phutas tu do repo a-steach don phrìomh stòr, bidh e ag ùrachadh gu sgiobalta agus a’ gabhail nas lugha de rùm.
nithean matha
- Bidh e gu furasta a’ fighe a-steach do shruth-obrach leasachaidh a’ mhòr-chuid de ghnìomhachasan.
- Chan eil feum air còraichean a bharrachd a làimhseachadh oir tha e a’ cleachdadh na h-aon cheadan ri stòr Git.
ana
- Feumaidh Git LFS luchd-frithealaidh sònraichte a chleachdadh gus an dàta agad a stòradh. Mar thoradh air an sin, bidh na sgiobaidhean saidheans dàta agad glaiste a-steach, agus èiridh an eallach obrach innleadaireachd agad.
- Gu math speisealaichte, agus dh’ fhaodadh gum feumar grunn innealan eadar-dhealaichte a chleachdadh airson ìrean às deidh sin ann an sruth-obrach saidheans dàta.
Microsoft Corporation
Tha e an-asgaidh a chleachdadh airson a h-uile duine.
2. LochFS
Tha LakeFS na fhuasgladh tionndadh dàta stòr fosgailte a bhios a’ stòradh dàta ann an S3 no GCS agus aig a bheil paradigm branndaidh agus dealas coltach ri Git a bhios a ’sgèileadh gu petabytes.
Tha an ro-innleachd branrach seo a’ toirt air an loch dàta agad gèilleadh ri ACID le bhith a’ leigeil le atharrachaidhean tachairt ann am meuran sònraichte a ghabhas togail, aonachadh, agus an toirt air ais gu atamach agus sa bhad.
Tha LakeFS a’ toirt comas do sgiobaidhean gnìomhan loch dàta a chruthachadh a ghabhas ath-aithris, atamach agus dreach. Is e rud ùr a th’ ann don t-sealladh, ach tha e na fheachd ri bhith air a mheas.
Bidh e a’ cleachdadh dòigh branrach coltach ri Git agus smachd dreach gus eadar-obrachadh le do loch dàta, scalable suas gu Petabytes dàta. Air sgèile exabyte, faodaidh tu sgrùdadh a dhèanamh airson smachd dreach.
nithean matha
- Tha gnìomhachd coltach ri Git a’ toirt a-steach branching, gealltainn, aonachadh agus tilleadh.
- Bithear a’ cleachdadh dubhan ro-gheallaidh/aonaidh airson sgrùdaidhean dàta CI/CD.
- A’ toirt seachad feartan iom-fhillte leithid gnothaichean ACID airson stòradh neòil sìmplidh mar S3 agus GCS, fhad ‘s a tha cruth fhathast neodrach.
- Thoir air ais atharrachaidhean air dàta ann an àm fìor.
- Sgèilean gu furasta, a’ toirt cothrom dha lochan dàta fìor mhòr a ghabhail. Faodar smachd dreach a thoirt seachad airson an dà chuid suidheachaidhean leasachaidh agus cinneasachaidh.
ana
- Is e toradh ùr a th’ ann an LakeFS, agus mar sin faodaidh gnìomhachd agus sgrìobhainnean atharrachadh nas luaithe na le fuasglaidhean roimhe.
- Leis gu bheil e ag amas air dreach dàta, feumaidh tu grunn innealan a bharrachd a chleachdadh airson diofar phàirtean den t-sruth-obrach saidheans dàta.
Microsoft Corporation
Tha e an-asgaidh a chleachdadh airson a h-uile duine.
3. DVC
Tha Data Version Control na fhuasgladh tionndadh dàta an-asgaidh a chaidh a dhealbhadh airson saidheans dàta agus tagraidhean ionnsachadh innealan. Is e prògram a th’ ann a leigeas leat do loidhne-phìoban a mhìneachadh ann an cànan sam bith.
Le bhith a’ stiùireadh fhaidhlichean mòra, seataichean dàta, modalan ionnsachaidh inneal, còd, is mar sin air adhart, bidh an inneal a’ dèanamh mhodalan ionnsachaidh inneal a ghabhas roinneadh agus ath-riochdachadh. Tha am prògram a’ leantainn stiùir Git ann a bhith a’ toirt seachad loidhne-àithne shìmplidh a ghabhas stèidheachadh ann am beagan cheumannan.
Mar a tha an t-ainm a’ ciallachadh, chan ann a-mhàin mu dheidhinn tionndadh dàta a tha DVC. Bidh e cuideachd a’ comasachadh riaghladh loidhne-phìoban agus modalan ionnsachaidh innealan airson sgiobaidhean.
Mu dheireadh, cuidichidh DVC le bhith ag adhartachadh cunbhalachd mhodalan na sgioba agad agus an ath-aithris. An àite a bhith a’ cleachdadh iar-leasachan faidhle iom-fhillte agus beachdan ann an còd, gabh brath air Git geugan gus beachdan ùra fheuchainn. Airson siubhal, cleachd lorg meatrach fèin-ghluasadach an àite pàipear is peansail.
Gus pasganan cunbhalach de ionnsachadh innealan modalan, dàta, agus còd a-steach gu cinneasachadh, coimpiutairean fad às, no deasg co-obraiche, faodaidh tu òrdughan putaidh / tarraing a chleachdadh an àite sgriobtaichean ad-hoc.
nithean matha
- Tha e aotrom, stòr fosgailte, agus bidh e ag obair leis a h-uile prìomh àrd-ùrlar sgòthan agus seòrsa stòraidh.
- Sùbailte, agnostic de chruth agus frèam, agus sìmplidh a bhuileachadh.
- Faodar mean-fhàs iomlan gach modail ML a leantainn air ais chun chòd stòr agus dàta aige.
ana
- Tha riaghladh loidhne-phìoban agus smachd dreach DVC ceangailte gu dlùth. Bidh call ann ma tha an sgioba agad mu thràth a’ cleachdadh toradh loidhne-phìoban dàta eile.
- Leis gu bheil DVC aotrom, is dòcha gum feum an sgioba agad feartan a bharrachd a dhealbhadh le làimh gus a dhèanamh nas fhasa a chleachdadh.
Microsoft Corporation
Tha e an-asgaidh a chleachdadh airson a h-uile duine.
4. Delta Loch
Tha DeltaLake na ìre stòraidh stòr fosgailte a chuireas ri earbsachd loch dàta. Tha Delta Lake a’ toirt taic do ghnothaichean ACID agus riaghladh meata-dàta scalable a bharrachd air sruthadh agus giullachd dàta baidse.
Bidh e ag obair le Apache Spark APIs agus na shuidhe air an loch dàta a th’ agad mu thràth. Is e Delta Sharing a’ chiad phròtacal fosgailte san t-saoghal airson roinneadh dàta sàbhailte ann an gnìomhachas, ga dhèanamh furasta dàta iomlaid le gnìomhachasan eile a tha neo-eisimeileach bho na siostaman coimpiutair aca.
Tha Delta Lakes comasach air petabytes dàta a làimhseachadh gu furasta. Tha meata-dàta air a stòradh san aon dòigh ri dàta, agus gheibh luchd-cleachdaidh e a’ cleachdadh an dòigh Thoir cunntas air mion-fhiosrachadh. Tha aon ailtireachd aig Delta Lakes as urrainn dàta sruthan is baidse a leughadh.
Tha e furasta upserts a dhèanamh le bhith a’ cleachdadh Delta. Tha na h-àrdachaidhean no na h-aonaidhean sin a-steach don chlàr Delta an coimeas ri SQL Merges. Faodaidh tu a chleachdadh gus dàta bho fhrèam dàta eile fhilleadh a-steach don bhòrd agad agus ùrachaidhean a dhèanamh, cuir a-steach agus cuir às.
nithean matha
- Faodaidh mòran chomasan, leithid gnothaichean ACID agus riaghladh meata-dàta làidir, a bhith rim faighinn anns an fhuasgladh stòraidh dàta gnàthach agad.
- Is urrainn dha Delta Lake a-nis clàran a riaghladh le billeanan de phàirtean agus faidhlichean air sgèile petabyte.
- Lùghdaich an fheum air smachd tionndadh dàta làimhe agus draghan dàta eile, a’ leigeil le luchd-leasachaidh fòcas a chuir air leasachadh thoraidhean a bharrachd air na lochan dàta aca.
ana
- Leis gun deach a dhealbhadh gus obrachadh le Spark agus dàta mòr, tha Delta Lake sa chumantas cus airson a’ mhòr-chuid de ghnìomhan.
- Feumaidh e cruth dàta sònraichte a chleachdadh, a chuireas casg air sùbailteachd agus a tha ga fhàgail neo-chòrdail ris na foirmean gnàthach agad.
Microsoft Corporation
Tha e an-asgaidh a chleachdadh airson a h-uile duine.
5. Dolt
Is e stòr-dàta SQL a th’ ann an Dolt a bhios a’ forking, a’ clonadh, a’ branndadh, a’ tighinn còmhla, a’ putadh, agus a’ tarraing san aon dòigh ’s a nì stòras git. Gus eòlas neach-cleachdaidh air stòr-dàta smachd dreach a leasachadh, leigidh Dolt le dàta agus structar atharrachadh ann an sioncranachadh.
Tha e na inneal math dhut fhèin agus do cho-obraichean airson co-obrachadh air. Faodaidh tu ceangal ri Dolt san aon dòigh ’s a dhèanadh tu ri stòr-dàta MySQL sam bith eile agus ceistean a ruith no atharrachaidhean a dhèanamh air an dàta a’ cleachdadh òrdughan SQL.
Nuair a thig e gu tionndadh dàta, tha Dolt aon-de-a-sheòrsa. Is e stòr-dàta a th 'ann an Dolt, an taca ri cuid de na fuasglaidhean eile a tha dìreach a' tionndadh dàta. Ged a tha am bathar-bog aig ìre thràth an-dràsta, thathas an dòchas gum bi e làn cho-chòrdail ri Git agus MySQL a dh’ aithghearr.
Bidh na h-òrdughan uile air a bheil thu eòlach air a chleachdadh le Git cuideachd ag obair le Dolt. Faidhlichean dreachan Git, clàran dreach Dolt A’ cleachdadh an eadar-aghaidh loidhne-àithne, cuir a-steach faidhlichean CSV, cuir na h-atharrachaidhean agad an sàs, foillsich iad gu inneal iomallach, agus cuir atharrachaidhean do chompanach còmhla.
nithean matha
- Cuideam aotrom agus open source ann am pàirt.
- An coimeas ri roghainnean nas neo-shoilleir, tha eadar-aghaidh SQL aige, ga dhèanamh nas ruigsinneach do luchd-anailis dàta.
ana
- An coimeas ri roghainnean dreach stòr-dàta eile, tha Dolt fhathast na thoradh a tha a’ leasachadh.
- Leis gur e stòr-dàta a th’ ann an Dolt, feumaidh tu an dàta agad a ghluasad a-steach dha gus na buannachdan fhaighinn.
Microsoft Corporation
Tha fàilte air a h-uile duine an seisean coimhearsnachd a chleachdadh. Chan eil an àrd-ùrlar a’ toirt seachad prìomh phrìsean; an àite sin, feumaidh tu fios a chur chun an t-solaraiche.
6. Pachyderm
Tha Pachyderm na shiostam smachd dreach saidheans dàta an-asgaidh le mòran fheartan. Tha Pachyderm Enterprise na àrd-ùrlar saidheans dàta cumhachdach a chaidh a dhealbhadh airson co-obrachadh air sgèile mhòr ann an àrainneachdan fìor thèarainte.
Is e Pachyderm aon den bheagan àrd-ùrlaran saidheans dàta air an liosta. Is e amas Pachyderm àrd-ùrlar a sholarachadh a bhios a’ riaghladh a’ chearcall dàta iomlan agus ga dhèanamh furasta co-dhùnaidhean mhodalan ionnsachaidh inneal a dhùblachadh. Canar “an Docker of Data” ris a’ cho-theacsa seo air Pachyderm. Bidh Pachyderm a’ pacadh suas an àrainneachd cur gu bàs agad a’ cleachdadh soithichean Docker. Tha seo ga dhèanamh furasta na h-aon toraidhean a dhùblachadh.
Faodaidh luchd-saidheans dàta agus sgiobaidhean DevOps modalan a chleachdadh le misneachd le taing don mheasgachadh de dhàta dreach le Docker. Taing do shiostam stòraidh èifeachdach, faodar petabytes de dhàta structaraichte agus neo-structaraichte a chumail fhad ‘s a tha cosgaisean stòraidh air an cumail cho ìosal.
Tro na h-ìrean loidhne-phìoban, tha dreach stèidhichte air faidhle a’ toirt seachad clàr sgrùdaidh mionaideach airson a h-uile dàta agus artifact, a’ toirt a-steach toraidhean eadar-mheadhanach. Tha mòran de chomasan an inneil air an stiùireadh leis na colbhan sin, a chuidicheas sgiobaidhean gus a’ chuid as fheàrr fhaighinn às.
nithean matha
- Stèidhichte air soithichean, bidh na h-àrainneachdan dàta agad so-ghiùlain agus furasta an gluasad eadar solaraichean sgòthan.
- Daingnich, le comas sgèile bho shiostaman beaga gu siostaman fìor mhòr.
ana
- Leis gu bheil uimhir de eileamaidean gluasadach ann, leithid frithealaiche Kubernetes a tha riatanach gus deasachadh an-asgaidh Pachyderm a làimhseachadh, tha lùb ionnsachaidh nas casta ann.
- Is dòcha gum bi e duilich Pachyderm a thoirt a-steach don bhun-structar a th’ aig companaidh mar-thà air sgàth na mòran phàirtean teicneòlais a th ’ann.
Microsoft Corporation
Faodaidh tu tòiseachadh air an àrd-ùrlar a chleachdadh leis an t-seisean coimhearsnachd agus airson an deasachadh iomairt, feumaidh tu fios a chuir chun neach-reic.
7. Neptune
Tha meata-dàta togail mhodail air a riaghladh le stòr meata-dàta ML, a tha na phàirt chudromach de chruach MLOps. Airson gach sruth-obrach MLOps, tha Neptune a’ frithealadh mar stòradh meata-dàta meadhanaichte.
Faodaidh tu cunntas a chumail, sealladh agus coimeas a dhèanamh eadar mìltean de mhodalan ionnsachaidh inneal uile ann an aon àite. Tha e a’ toirt a-steach feartan leithid tracadh dheuchainnean, clàradh mhodail, agus sgrùdadh modail, a bharrachd air eadar-aghaidh co-obrachail. Tha e a’ toirt a-steach còrr air 25 diofar innealan agus leabharlannan aonaichte, a’ toirt a-steach grunn mhodalan trèanaidh agus innealan gleusaidh hyperparameter.
Faodaidh tu a dhol còmhla ri Neptune gun a bhith a’ cleachdadh a’ chairt-chreideis agad. Bidh cunntas Gmail gu leòr na àite.
nithean matha
- Tha amalachadh le loidhne-phìoban, sruthadh, còd-stèidh no frèam sam bith sìmplidh.
- Na seallaidhean fìor-ùine, an API furasta, agus an taic sgiobalta
- Le Neptune, faodaidh tu “cùl-taic” a dhèanamh den dàta deuchainnean agad gu lèir ann an aon àite, a gheibh thu air ais nas fhaide air adhart.
ana
- Ged nach eil e gu tur fosgailte, tha e coltach gum biodh dreach fa leth gu leòr airson a chleachdadh gu prìobhaideach, ged a tha an leithid de chothrom air a chuingealachadh ri mìos.
- Tha beagan lochdan dealbhaidh rim faighinn.
Microsoft Corporation
Faodaidh tu tòiseachadh air an àrd-ùrlar a chleachdadh leis a’ phlana fa leth a tha saor an-asgaidh don h-uile duine. Bidh an roinn prìsean a’ tòiseachadh bho $ 150 / mìos.
Co-dhùnadh
Anns an dreuchd seo, bheachdaich sinn air na h-innealan tionndadh dàta as fheàrr. Tha a sheata de fheartan fhèin aig gach inneal, mar a chunnaic sinn. Bha cuid an-asgaidh, agus cuid eile ag iarraidh pàigheadh. Tha cuid dhiubh gu math freagarrach airson modail gnìomhachas beag, agus cuid eile nas freagarraiche airson a’ mhodail gnìomhachais mhòr.
Mar thoradh air an sin, feumaidh tu am bathar-bog as fheàrr a thaghadh airson do adhbharan às deidh dhut na buannachdan agus na h-eas-bhuannachdan a chuideam. Tha sinn a’ brosnachadh gun dèan thu deuchainn air an dreach deuchainn an-asgaidh mus ceannaich thu prìomh thoradh.
Leave a Reply