Table of Contents[Kache][Montre]
Done Syantis yo ak pwofesyonèl aprantisaj machin yo fè fas ak yon kantite siyifikatif done divès kalite nan yon pwojè syans done tipik. Anpil modèl yo te devlope ak divès kalite konfigirasyon ak karakteristik, osi byen ke plizyè iterasyon nan akor paramèt pou jwenn pèfòmans nan pi bon.
Nan yon senaryo konsa, tout modifikasyon done ak ajisteman pwosesis bilding modèl yo dwe kontwole ak mezire pou detèmine sa ki te travay ak sa ki pa t '. Li enpòtan tou pou kapab tounen nan yon edisyon anvan epi gade nan rezilta anvan yo.
Kontwòl Vèsyon Done (DVC), ki ede nan jere done yo, modèl ki kache a, ak kouri rezilta repwodiktif, se youn nan teknoloji sa yo ki pèmèt nou kontwole tout bagay sa yo.
Nan pòs sa a, nou pral byen gade nan kontwòl vèsyon done, ak pi bon zouti yo itilize. Ann kòmanse.
Ki sa ki se kontwòl vèsyon done?
Versioning obligatwa pou tout sistèm pwodiksyon. Yon sèl pwen aksè a done ki pi ajou. Nenpòt resous ki souvan modifye, patikilyèman pa plizyè itilizatè an menm tan, bezwen kreyasyon an nan yon santye odit pou kenbe tras de tout chanjman.
Sistèm kontwòl vèsyon an responsab pou asire ke tout moun nan ekip la sou menm paj la. Li garanti ke tout moun nan ekip la ap travay sou vèsyon ki pi resan nan dosye a epi, sa ki pi enpòtan, ke tout moun ap kolabore sou menm pwojè a alafwa.
Si ou gen ekipman apwopriye a, ou ka akonpli sa ak efò minim!
Ou pral gen seri done ki konsistan ak yon achiv bon jan nan tout rechèch ou an si ou itilize yon estrateji jesyon done serye. Zouti vèsyon done yo enpòtan anpil pou workflow ou si ou pran swen repwodibilite, trasabilite, ak istwa modèl ML.
Yo ede w jwenn yon vèsyon nan yon atik, tankou yon hash nan yon seri done oswa modèl, ke ou ka Lè sa a, itilize yo idantifye ak konpare. Vèsyon done sa a souvan antre nan solisyon jesyon metadata ou a pou garanti ke fòmasyon modèl ou an gen vèsyon ak repete.
Pi bon zouti kontwòl vèsyon done
Koulye a, li lè yo gade nan pi rafine solisyon kontwòl vèsyon done ki disponib, ke ou ka itilize pou kenbe tras nan chak pati nan kòd ou a.
1. git-lfs
Pwojè Git LFS la gratis pou itilize. Nan Git, gwo fichye tankou echantiyon odyo, videyo, baz done, ak foto yo ranplase ak konsèy tèks, epi kontni fichye a yo sove sou yon sèvè aleka tankou GitHub.com oswa GitHub Enterprise.
Li pèmèt ou sèvi ak Git nan vèsyon menmen fichye-jiska plizyè GB nan gwosè-hosty plis nan depo Git ou yo itilize depo ekstèn, ak klonaj ak rekipere gwo depo fichye pi vit. Lè li rive jesyon done, sa a se yon solisyon trè limyè. Pou travay ak Git, ou pa bezwen okenn kòmandman siplemantè, sistèm depo, oswa bwat zouti.
Li limite kantite enfòmasyon ou telechaje. Sa vle di ke klonaj ak rekipere gwo fichye nan depo yo pral pi vit. Endikasyon yo fèt ak yon materyèl ki pi lejè epi yo montre LFS la.
Kòm yon rezilta, lè ou pouse repo ou a nan depo prensipal la, li mete ajou byen vit epi li pran mwens espas.
Pou
- Fasil entegre nan workflows devlopman nan pifò biznis yo.
- Pa gen okenn bezwen okipe dwa siplemantè paske li sèvi ak otorizasyon yo menm jan ak depo Git la.
Kont
- Git LFS mande pou sèvi ak sèvè devwe pou estoke done ou yo. Kòm yon rezilta, ekip syans done ou yo pral fèmen nan, epi kantite travay jeni ou ap ogmante.
- Trè espesyalize, epi li ka mande pou itilize yon varyete zouti diferan pou faz ki vin apre nan workflow syans done yo.
Pri
Li gratis pou itilize pou tout moun.
2. LakeFS
LakeFS se yon solisyon vèsyon done sous louvri ki estoke done nan S3 oswa GCS epi li gen yon paradigm Git tankou branch ak komèt ki echèl nan petabyte.
Estrateji branch sa a fè done lake ACID ou an konfòme lè li pèmèt chanjman ki fèt nan branch diferan ki ka konstwi, fizyone, ak woule tounen atomik ak enstantane.
LakeFS pèmèt ekip yo kreye aktivite lak done ki repete, atomik, ak vèsyon. Li se yon debutan nan sèn nan, men li se yon fòs yo dwe konte ak.
Li sèvi ak yon Git-tankou branch ak apwòch kontwòl vèsyon yo kominike avèk ou done lak, évolutive jiska Petabytes nan done. Sou yon echèl exabyte, ou ka tcheke pou kontwòl vèsyon an.
Pou
- Operasyon ki sanble ak Git gen ladan branch, komèt, fusion, ak retounen.
- Yo itilize kwòk pre-commit/fusion pou done CI/CD chèk.
- Bay karakteristik konplèks tankou tranzaksyon ACID pou depo nwaj senp tankou S3 ak GCS, tout pandan y ap rete fòma net.
- Refè chanjman nan done an tan reyèl.
- Echèl fasil, sa ki pèmèt li akomode lak done trè gwo. Kontwòl vèsyon an ka bay tou de devlopman ak anviwònman pwodiksyon.
Kont
- LakeFS se yon nouvo pwodwi, kidonk fonksyonalite ak dokiman yo ka chanje pi vit pase ak solisyon anvan yo.
- Piske li konsantre sou vèsyon done, w ap bezwen itilize yon varyete zouti adisyonèl pou divès pati nan workflow syans done yo.
Pri
Li gratis pou itilize pou tout moun.
3. DVC
Kontwòl vèsyon done se yon solisyon gratis vèsyon done ki fèt pou syans done ak aplikasyon pou aprantisaj machin. Li se yon pwogram ki pèmèt ou defini pipeline ou nan nenpòt lang.
Lè yo jere fichye gwo, seri done, modèl aprantisaj machin, kòd, ak sou sa, zouti a fè modèl aprantisaj machin yo pataje ak repwodiktif. Pwogram nan swiv gid Git nan bay yon liy lòd senp ki ka mete kanpe nan sèlman kèk etap.
Kòm non li implique, DVC se pa sèlman sou vèsyon done. Li tou fasilite jesyon an nan tiyo ak modèl aprantisaj machin pou ekip yo.
Finalman, DVC ap ede nan amelyore konsistans nan modèl ekip ou a ak repetibilite yo. Olye pou w itilize sifiks dosye konplike ak kòmantè nan kòd, pwofite de Git branch eseye nouvo lide. Pou vwayaje, sèvi ak otomatik metrik-swiv olye pou yo papye ak kreyon.
Pou transmèt pakèt konsistan nan aprantisaj machin modèl, done, ak kòd nan pwodiksyon, òdinatè byen lwen, oswa Desktop yon kòlèg, ou ka itilize kòmand pouse/rale olye pou yo script ad-hoc.
Pou
- Li lejè, sous louvri, epi li travay ak tout gwo platfòm nwaj ak kalite depo.
- Fleksib, agnostik nan fòma ak fondasyon, ak senp pou aplike.
- Tout evolisyon chak modèl ML ka remonte nan kòd sous li yo ak done yo.
Kont
- Jesyon tiyo ak kontwòl vèsyon DVC yo inextricableman lye. Pral gen redondance si ekip ou a deja itilize yon lòt pwodwi tiyo done.
- Piske DVC lejè, ekip ou a ka bezwen konsepsyon lòt karakteristik manyèlman pou fè li pi fasil pou itilizatè.
Pri
Li gratis pou itilize pou tout moun.
4. DeltaLake
DeltaLake se yon kouch depo sous ouvè ki ogmante fyab done lak. Delta Lake sipòte tranzaksyon ACID ak jesyon metadata évolutive anplis difizyon ak pwosesis done pakèt.
Li travay ak Apache Spark API epi li chita sou lak done ki egziste deja ou a. Delta Sharing se premye pwotokòl ki louvri nan mond lan pou pataje done san danje nan biznis, sa ki fè li senp pou echanj done ak lòt biznis endepandan de sistèm òdinatè yo.
Delta Lakes kapab jere petabyte done avèk fasilite. Metadata yo estoke menm jan ak done yo, epi itilizatè yo ka jwenn li lè l sèvi avèk metòd Dekri detay. Delta Lakes gen yon sèl achitekti ki ka li tou de done kouran ak pakèt.
Upsers yo senp pou fè lè l sèvi avèk Delta. Upserts sa yo oswa fusions nan tab Delta yo konparab ak SQL Merges. Ou ka itilize li pou entegre done ki soti nan yon lòt ankadreman done nan tab ou a epi fè mizajou, foure, ak efase.
Pou
- Anpil kapasite, tankou tranzaksyon ACID ak jesyon metadata solid, ka disponib nan solisyon depo done ou kounye a.
- Delta Lake kapab kounye a jere tab san efò ak dè milya de patisyon ak dosye sou yon echèl petabyte.
- Diminye nesesite pou kontwòl vèsyon manyèl done ak lòt enkyetid done, sa ki pèmèt devlopè yo konsantre sou devlope pwodwi sou tèt lak done yo.
Kont
- Kòm li te fèt pou travay ak Spark ak done gwo, Delta Lake se jeneralman twòp pou pifò travay.
- Li nesesè pou sèvi ak yon fòma done dedye, ki limite fleksibilite li yo epi ki fè li enkonpatib ak fòm prezan ou yo.
Pri
Li gratis pou itilize pou tout moun.
5. Dolt
Dolt se yon baz done SQL ki fè forking, klonaj, branch, fusion, pouse, ak rale menm jan ak yon depo git fè. Pou amelyore eksperyans itilizatè a nan yon baz done kontwòl vèsyon, Dolt pèmèt done ak estrikti chanje nan senkronizasyon.
Li se yon zouti ekselan pou ou menm ak kòlèg travay ou yo kolabore sou. Ou ka konekte ak Dolt menm jan ak nenpòt lòt baz done MySQL epi kouri demann oswa fè chanjman nan done yo lè l sèvi avèk kòmandman SQL.
Lè li rive vèsyon done, Dolt se yon sèl-a-yon-kalite. Dolt se yon baz done, kòm opoze a kèk nan lòt solisyon yo ki jis vèsyon done. Pandan ke lojisyèl an se kounye a nan premye etap li yo, gen espwa fè li konplètman konpatib ak Git ak MySQL nan fiti prè.
Tout kòmandman ke w abitye ak itilize ak Git ap travay tou ak Dolt. Fichye vèsyon Git, tablo vèsyon Dolt Sèvi ak koòdone liy kòmand, enpòte fichye CSV, komèt chanjman ou yo, pibliye yo nan yon remote, epi rantre chanjman koekipye ou yo.
Pou
- Lejè ak louvri sous an pati.
- An konparezon ak chwa ki pi fènwa, li gen yon koòdone SQL, ki fè li pi aksesib a analis done yo.
Kont
- An konparezon ak lòt altènativ vèsyon baz done, Dolt se toujou yon pwodwi devlope.
- Depi Dolt se yon baz done, ou dwe transfere done ou nan li pou jwenn benefis yo.
Pri
Tout moun akeyi yo sèvi ak sesyon kominote a. Platfòm nan pa bay pri prim; olye de sa, ou dwe kontakte founisè a.
6. Pakidèm
Pachyderm se yon sistèm kontwòl vèsyon syans done gratis ak anpil karakteristik. Pachyderm Enterprise se yon platfòm syans done pwisan ki fèt pou kolaborasyon gwo echèl nan anviwònman ki trè an sekirite.
Pachyderm se youn nan kèk platfòm syans done lis la. Objektif Pachyderm se bay yon platfòm ki jere sik done konplè epi fè li senp pou kopi rezilta modèl aprantisaj machin yo. Pachyderm ke yo rekonèt kòm "Docker de Done" nan kontèks sa a. Pachyderm pake anviwònman ekzekisyon ou lè l sèvi avèk resipyan Docker. Sa fè li senp pou kopi menm rezilta yo.
Done syantis yo ak ekip DevOps yo ka deplwaye modèl avèk konfyans grasa konbinezon done vèsyon ak Docker. Mèsi a yon sistèm depo efikas, petabyte done estriktire ak san estriktire yo ka konsève pandan y ap pri depo yo kenbe nan yon minimòm.
Pandan tout faz tiyo yo, vèsyon ki baze sou dosye bay yon dosye odit konplè pou tout done ak zafè, ki gen ladan rezilta entèmedyè. Anpil nan kapasite zouti a se kondwi pa poto sa yo, ki ede ekip yo jwenn pi plis nan li.
Pou
- Dapre resipyan, anviwònman done ou yo pral pòtab epi fasil pou transfere ant founisè nwaj yo.
- Djanm, ak kapasite nan echèl soti nan ti sistèm ekstrèmman gwo.
Kont
- Depi gen anpil eleman k ap deplase, tankou sèvè Kubernetes ki nesesè pou okipe edisyon gratis Pachyderm a, gen yon koub aprantisaj pi apik.
- Pachyderm ta ka difisil pou enkòpore nan enfrastrikti yon konpayi ki deja egziste akòz anpil eleman teknolojik li yo.
Pri
Ou ka kòmanse sèvi ak platfòm la ak sesyon kominote a epi pou edisyon antrepriz la, ou dwe kontakte vandè a.
7. Neptin
Se magazen metadata ML ki jere metadata pou konstwi modèl, ki se yon aspè enpòtan nan pil MLOps la. Pou chak workflow MLOps, Neptune sèvi kòm depo metadata santralize.
Ou ka kenbe tras, vizyalize, epi konpare plizyè milye modèl aprantisaj machin nan yon sèl kote. Li gen ladann karakteristik tankou swiv eksperyans, rejis modèl, ak siveyans modèl, osi byen ke yon koòdone kolaboratif. Li gen ladann plis pase 25 zouti diferan ak bibliyotèk entegre, ki gen ladan plizyè fòmasyon modèl ak zouti akor hyperparameter.
Ou ka rantre nan Neptune san w pa itilize kat kredi w. Yon kont Gmail ap sifi nan plas li.
Pou
- Entegrasyon ak nenpòt tiyo, koule, kodbaz, oswa kad se senp.
- Vizyalizasyon yo an tan reyèl, API a fasil, ak sipò rapid la
- Avèk Neptune, ou ka fè yon "sovgad" nan tout done eksperyans ou yo nan yon sèl kote, ke ou ka refè pita.
Kont
- Malgre ke pa totalman louvri-sous, yon vèsyon endividyèl ta prezimableman sifi pou itilizasyon prive, byenke aksè sa a limite a yon mwa.
- Gen kèk ti defo konsepsyon yo dwe jwenn.
Pri
Ou ka kòmanse itilize platfòm la ak plan endividyèl la ki gratis pou tout moun itilize. Seksyon pri a kòmanse soti nan $ 150 / mwa.
konklizyon
Nan pòs sa a, nou te diskite pi bon zouti vèsyon done yo. Chak zouti, jan nou te wè, gen pwòp seri karakteristik li yo. Gen kèk te gratis, pandan ke lòt yo te mande peman. Gen kèk ki byen adapte ak modèl ti biznis la, pandan ke lòt yo pi byen adapte ak modèl la gwo biznis.
Kòm yon konsekans, ou dwe chwazi lojisyèl ki pi rafine pou rezon ou apre yo fin peze avantaj ak dezavantaj yo. Nou ankouraje w teste vèsyon an esè gratis anvan ou achte yon pwodwi prim.
Kite yon Reply