Nokkrir alþjóðlegir geirar eru farnir að fjárfesta meira í vélanámi (ML).
ML líkön geta í upphafi verið sett á markað og starfrækt af teymum sérfræðinga, en ein stærsta hindrunin er að flytja þekkingu sem aflað er yfir á næsta líkan svo hægt sé að stækka ferla.
Til að bæta og staðla ferlana sem taka þátt í lífsferilsstjórnun líkana eru MLOps tækni í auknum mæli notuð af teymunum sem búa til vélanámslíkön.
Haltu áfram að lesa til að fá frekari upplýsingar um nokkur af bestu MLOps verkfærunum og kerfunum sem til eru í dag og hvernig þau geta gert vélanám auðveldara frá sjónarhóli verkfæra, þróunaraðila og málsmeðferðar.
Hvað er MLOps?
Tækni til að búa til stefnur, viðmið og bestu starfsvenjur fyrir vélanámslíkön er þekkt sem „vélanámsaðgerðir“ eða „MLOps.
MLOps miðar að því að tryggja að allur lífsferill ML þróunar - frá hugmynd til uppsetningar - sé nákvæmlega skjalfest og stjórnað til að ná sem bestum árangri frekar en að fjárfesta miklum tíma og fjármagni í það án stefnu.
Markmið MLOps er að kóða bestu starfsvenjur á þann hátt sem gerir vélanámsþróun skalanlegri fyrir ML rekstraraðila og þróunaraðila, sem og að auka gæði og öryggi ML módel.
Sumir vísa til MLOps sem „DevOps fyrir vélanám“ þar sem það beitir DevOps meginreglum með góðum árangri á sérhæfðara sviði tækniþróunar.
Þetta er gagnleg leið til að hugsa um MLOps því, eins og DevOps, leggur það áherslu á þekkingarmiðlun, samvinnu og bestu starfsvenjur meðal teyma og verkfæra.
MLOps veitir þróunaraðilum, gagnafræðingum og rekstrarteymum ramma til að vinna saman og þar af leiðandi framleiða öflugustu ML módelin.
Af hverju að nota MLOps verkfæri?
MLOps verkfæri geta framkvæmt margs konar skyldustörf fyrir ML teymi, en þeim er oft skipt í tvo hópa: kerfisstjórnun og stjórnun einstakra íhluta.
Þó að sumar MLOps vörur einbeiti sér aðeins að einni kjarnaaðgerð, svo sem gagna- eða lýsigagnastjórnun, samþykkja önnur verkfæri yfirgripsmeiri stefnu og bjóða upp á MLOps vettvang til að stjórna nokkrum þáttum ML lífsferils.
Leitaðu að MLOps lausnum sem aðstoða teymi þitt við að stjórna þessum ML þróunarsvæðum, hvort sem þú ert að leita að sérfræðingi eða víðtækara verkfæri:
- Meðhöndlun gagna
- Hönnun og líkangerð
- Verkefnastjórnun og vinnustaða
- ML líkan dreifing og stöðugt viðhald
- Lífsferilsstjórnun frá upphafi til enda, sem venjulega er í boði hjá MLOps kerfum í fullri þjónustu.
MLOps verkfæri
1. MLFlow
Lífsferli vélnáms er stjórnað af opnum uppspretta vettvangi MLflow og inniheldur miðlæga líkanaskráningu, uppsetningu og tilraunir.
MLflow er hægt að nota af hvaða teymi sem er, bæði fyrir sig og saman. Bókasöfn hafa engin áhrif á tólið.
Hvaða forritunarmál og vélanámssafn sem er getur notað það.
Til að gera það einfaldara að þjálfa, dreifa og stjórna vélanámsforritum hefur MLFlow samskipti við fjölda vélanámsramma, þ.m.t. TensorFlow og Pytorch.
Að auki veitir MLflow auðveld í notkun API sem geta verið innifalin í hvaða vélanámsforritum eða bókasöfnum sem fyrir eru.
MLflow hefur fjóra lykileiginleika sem auðvelda rakningu og skipulagningu tilrauna:
- MLflow Tracking – API og notendaviðmót til að skrá færibreytur vélnámskóða, útgáfur, mælikvarða og gripi sem og til að birta og birta niðurstöðurnar í kjölfarið
- MLflow Projects - pakka vélanámskóða á endurnýtanlegu, endurskapanlegu sniði til að flytja til framleiðslu eða deila með öðrum gagnafræðingum
- MLflow Models - viðhalda og dreifa líkönum í úrval af líkanaþjónustu og ályktunarkerfum frá ýmsum ML bókasöfnum
- MLflow Model Registry – miðlæg líkanaverslun sem gerir samvinnustjórnun á öllum líftíma MLflow líkansins, þar á meðal útgáfa gerða, stigaskipti og athugasemdir.
2. KubeFlow
ML verkfærakistan fyrir Kubernetes heitir Kubeflow. Pökkun og umsjón Docker gáma, hjálpar til við viðhald á vélanámskerfi.
Með því að einfalda keyrslu skipulagningu og dreifingu á verkflæði vélanáms stuðlar það að sveigjanleika vélanámslíkana.
Þetta er opinn uppspretta verkefni sem inniheldur vandlega valinn hóp viðbótarverkfæra og ramma sem eru sérsniðnar að mismunandi ML þörfum.
Hægt er að takast á við löng ML þjálfunarverkefni, handvirkar tilraunir, endurtekningarhæfni og DevOps áskoranir með Kubeflow Pipelines.
Fyrir nokkur stig vélanáms, þar á meðal þjálfun, leiðsluþróun og viðhald á Jupyter minnisbækur, Kubeflow býður upp á sérhæfða þjónustu og samþættingu.
Það gerir það einfalt að stjórna og fylgjast með líftíma gervigreindarvinnuálags þíns sem og að dreifa vélanámi (ML) líkönum og gagnaleiðslum í Kubernetes klasa.
Það býður upp á:
- Glósubækur til að nota SDK til að hafa samskipti við kerfið
- notendaviðmót (UI) til að stjórna og fylgjast með keyrslum, verkum og tilraunum
- Að hanna á skjótan hátt end-til-enda lausnir án þess að þurfa að endurbyggja í hvert skipti og endurnýta íhluti og leiðslur.
- Sem lykilþáttur í Kubeflow eða sem sjálfstæð uppsetning er boðið upp á Kubeflow Pipelines.
3. Gagnaútgáfustýring
Opinn uppspretta útgáfustýringarlausn fyrir vélanámsverkefni er kölluð DVC, eða Data Version Control.
Hvaða tungumál sem þú velur, það er tilraunaverkfæri sem hjálpar við skilgreiningu leiðslunnar.
DVC notar kóða, gagnaútgáfu og endurgerðanleika til að hjálpa þér að spara tíma þegar þú uppgötvar vandamál með fyrri útgáfu af ML líkaninu þínu.
Að auki geturðu notað DVC leiðslur til að þjálfa líkanið þitt og dreifa því til liðsmanna þinna. DVC getur séð um skipulag og útgáfu stórgagna og hægt er að geyma gögnin á aðgengilegan hátt.
Þrátt fyrir að það feli í sér nokkra (takmarkaða) tilrauna-rakningareiginleika, þá einbeitir það sér að mestu að gagna- og leiðsluútgáfu og stjórnun.
Það býður upp á:
- Það er geymsluaðstæður, þess vegna er hægt að nota ýmsar geymslugerðir.
- Það veitir einnig mælingartölfræði.
- forsmíðuð leið til að sameina ML stig í DAG og keyra alla leiðsluna frá upphafi til enda
- Hægt er að fylgjast með allri þróun hvers ML líkans með því að nota allan kóðann og uppruna gagna.
- Afritunarhæfni með því að varðveita upphaflega uppsetningu, inntaksgögn og forritakóða fyrir tilraun.
4. Pachyderm
Pachyderm er útgáfustýringarforrit fyrir vélanám og gagnafræði, svipað og DVC.
Að auki, vegna þess að það var búið til með því að nota Docker og Kubernetes, það getur keyrt og sett upp vélanámsforrit á hvaða skýjapalli sem er.
Pachyderm tryggir að hægt sé að rekja hvert gagnastykki sem er neytt í vélanámslíkan og útgáfa.
Það er notað til að búa til, dreifa, stjórna og fylgjast með vélanámslíkönum. Fyrirmyndaskrá, líkanstjórnunarkerfi og CLI verkfærakista eru öll innifalin.
Hönnuðir geta sjálfvirkt og stækkað lífsferil vélanáms síns með því að nota gagnagrunn Pachyderm, sem tryggir einnig endurtekningarhæfni.
Það styður stranga gagnastjórnunarstaðla, lækkar gagnavinnslu- og geymslukostnað og hjálpar fyrirtækjum að koma gagnavísindaverkefnum sínum á markað hraðar.
5. Polyaxon
Með því að nota Polyaxon pallinn er hægt að endurtaka vélanámsverkefni og djúpnámsforrit og stjórna þeim yfir allan lífsferil þeirra.
Polyaxon er fær um að hýsa og stjórna tólinu og það er hægt að setja það í hvaða gagnaver eða skýjafyrirtæki sem er. Svo sem eins og Torch, Tensorflow og MXNet, sem styðja alla vinsælustu djúpnámsramma.
Þegar kemur að skipulagningu gerir Polyaxon þér kleift að nýta klasann þinn sem best með því að skipuleggja verkefni og prófanir í gegnum CLI, mælaborð, SDK eða REST API.
Það býður upp á:
- Þú getur notað opinn uppspretta útgáfuna núna, en hún inniheldur einnig val fyrir fyrirtæki.
- Þrátt fyrir að það nái yfir allan lífsferilinn, þar með talið hlaupahljómsveit, er það fær um miklu meira.
- Með tæknilegum tilvísunarskjölum, leiðbeiningum um að byrja, námsefni, handbækur, kennsluefni, breytingaskrár og fleira, er þetta mjög vel skjalfestur vettvangur.
- Með mælaborði tilraunainnsýnar er hægt að fylgjast með, rekja og meta hverja hagræðingartilraun.
6. Comet
Comet er vettvangur fyrir meta vélanám sem rekur, sýnir andstæður, útskýrir og bætir tilraunir og líkön.
Allar tilraunir þínar er hægt að sjá og bera saman á einum stað.
Það virkar fyrir hvaða vélanámsverkefni sem er, hvar sem kóðinn þinn er framkvæmdur og með hvaða vélanámssafni sem er.
Comet hentar hópum, einstaklingum, akademískum stofnunum, fyrirtækjum og öllum öðrum sem vilja fljótt sjá tilraunir, hagræða vinnu og framkvæma tilraunir.
Gagnafræðingar og teymi geta fylgst með, skýrt, bætt og borið saman tilraunir og líkön með því að nota sjálf-hýst og skýjabyggðan meta-vélnámsvettvang Comet.
Það býður upp á:
- Margir möguleikar eru fyrir liðsmenn til að deila verkefnum.
- Það hefur nokkrar samþættingar sem gera það einfalt að tengja það við aðra tækni
- Virkar vel með núverandi ML bókasöfnum
- Sér um notendastjórnun
- Samanburður á tilraunum er virkur, þar á meðal samanburður á kóða, ofurbreytum, mæligildum, spám, ósjálfstæðum og kerfismælingum.
- Býður upp á sérstakar einingar fyrir sjón, hljóð, texta og töflugögn sem gera þér kleift að sjá sýnishorn.
7. Opt
Optuna er kerfi fyrir sjálfvirka fínstillingu hástærða sem hægt er að beita á bæði vélanám og djúpnám sem og önnur svið.
Það inniheldur margs konar háþróaða reiknirit sem þú getur valið úr (eða tengt), gerir það mjög einfalt að dreifa þjálfun yfir fjölmargar tölvur og býður upp á aðlaðandi sjónrænan árangur.
Vinsæl vélanámssöfn eins og PyTorch, TensorFlow, Keras, FastAI, Sci-kit-learn, LightGBM og XGBoost eru öll samþætt því.
Það býður upp á háþróaða reiknirit sem gera viðskiptavinum kleift að fá niðurstöður hraðar með því að fækka sýnum sem virðast ekki vænlegar.
Með því að nota Python-undirstaða reiknirit leitar það sjálfkrafa að hinum fullkomnu ofurbreytum. Optuna hvetur til samhliða leitar með ofþráðum í mörgum þráðum án þess að breyta upprunalega kóðanum.
Það býður upp á:
- Það styður dreifða þjálfun á klasa sem og einni tölvu (fjölferli) (fjölhnútur)
- Það styður nokkrar klippingaraðferðir til að flýta fyrir samleitni (og nota minni tölvuvinnslu)
- Það hefur margs konar öflugar sjónmyndir, svo sem sneiðarlotu, útlínurslóð og samhliða hnit.
8. Kedro
Kedro er ókeypis Python rammi til að skrifa kóða sem hægt er að uppfæra og viðhalda fyrir gagnavísindaverkefni.
Það færir hugmyndir frá bestu starfsvenjum í hugbúnaðarverkfræði til vélanámskóða. Python er grunnurinn að þessu verkflæðisskipunarverkfæri.
Til að gera ML ferla þína einfaldari og nákvæmari geturðu þróað endurskapanlegt, viðhaldanlegt og mátbundið verkflæði.
Kedro fellur inn í hugbúnaðarverkfræði meginreglur eins og mát, aðskilnað ábyrgðar og útgáfu í vélanámsumhverfi.
Á grundvelli Cookiecutter Data Science veitir það sameiginlegan, aðlögunarhæfan verkefnaramma.
Fjöldi einfaldra gagnatengja sem notuð eru til að geyma og hlaða gögnum yfir nokkur skráarkerfi og skráarsnið, er stjórnað af gagnaskránni. Það gerir vélanámsverkefni skilvirkari og gerir það einfaldara að byggja upp gagnaleiðslu.
Það býður upp á:
- Kedro gerir ráð fyrir annað hvort dreifðri eða eintómri uppsetningu vélar.
- Þú getur sjálfvirkt ósjálfstæði milli Python kóða og sjónrænnar verkflæðis með því að nota leiðsluútdrátt.
- Með því að nota eininga, endurnýtanlegan kóða, auðveldar þessi tækni samstarf teymi á ýmsum stigum og bætir framleiðni í kóðunarumhverfinu.
- Meginmarkmiðið er að vinna bug á göllum Jupyter fartölvum, einstaka skriftum og límkóða með því að skrifa viðhaldshæfa gagnavísindaforritun.
9. BentoML
Það er auðveldara að smíða API-endapunkta fyrir vélanám með BentoML.
Það býður upp á dæmigerða en samt þétta innviði til að færa lærð vélnámslíkön í framleiðslu.
Það gerir þér kleift að pakka inn lærðum líkönum til notkunar í framleiðsluumhverfi, túlka þau með hvaða ML ramma sem er. Bæði ónettengd lotuþjónusta og API þjónusta á netinu eru studd.
Afkastamikill líkanþjónn og sveigjanlegt verkflæði eru eiginleikar BentoML.
Að auki býður þjónninn upp á aðlögunarmikla örlotu. Samræmd nálgun til að skipuleggja líkön og halda utan um uppsetningarferli er veitt af mælaborði HÍ.
Það verður engin niður í miðbæ vegna þess að stýrikerfið er mát og uppsetningin er endurnotanleg. Það er sveigjanlegur vettvangur til að útvega, skipuleggja og dreifa ML módelum.
Það býður upp á:
- Það hefur mát hönnun sem er aðlögunarhæf.
- Það gerir uppsetningu á nokkrum kerfum kleift.
- Það getur ekki sjálfkrafa séð um lárétta mælikvarða.
- Það gerir kleift að nota eitt módelsnið, módelstjórnun, módelpökkun og afkastamikil módelþjónustu.
10. Seldon
Gagnafræðingar geta búið til, dreift og stjórnað vélanámslíkönum og tilraunum í mælikvarða á Kubernetes með því að nota opinn uppspretta Seldon Core ramma.
TensorFlow, Sci-kit-learn, Spark, R, Java og H2O eru aðeins nokkrar af verkfærasettunum sem eru studdar af því.
Það tengist einnig Kubeflow og OpenShift frá RedHat. Seldon kjarninn umbreytir vélanámslíkönum (ML módel) eða tungumálaumbúðir (tungumál eins og Python, Java, osfrv.) í framleiðslu REST/GRPC örþjónustur.
Eitt af bestu MLOps verkfærunum til að bæta vélanámsferla er þetta.
Það er einfalt að geyma ML módel og prófa nothæfi og öryggi með Seldon Core.
Það býður upp á:
- Hægt er að gera uppsetningu líkansins einfaldari með nokkrum valkostum, eins og kanarídreifingu.
- Til að skilja hvers vegna sérstakar spár voru gerðar, notaðu líkanaútskýringar.
- Þegar vandamál koma upp skaltu fylgjast með framleiðslulíkönunum með því að nota viðvörunarkerfið.
Niðurstaða
MLOps geta hjálpað til við að gera vélanámsaðgerðir betri. MLOps geta flýtt fyrir dreifingu, gert gagnasöfnun og villuleit einfaldari og bætt samvinnu verkfræðinga og gagnafræðinga.
Til þess að þú getir valið MLOps tólið sem hentar þínum þörfum best skoðaði þessi færsla 10 vinsælar MLOps lausnir, sem flestar eru opinn uppspretta.
Skildu eftir skilaboð