Verschidde global Secteuren fänken un méi wesentlech a Maschinnléieren (ML) ze investéieren.
ML Modeller kënnen ufanks vun Teams vu Spezialisten lancéiert an operéiert ginn, awer ee vun de gréissten Hindernisser ass d'Iwwerdroung vum Wëssen op den nächste Modell, sou datt d'Prozesser erweidert kënne ginn.
Fir d'Prozesser, déi am Model Lifecycle Management involvéiert sinn, ze verbesseren an ze standardiséieren, ginn MLOps Techniken ëmmer méi vun den Teams benotzt déi Maschinnléieremodeller erstellen.
Weiderliesen fir méi erauszefannen iwwer e puer vun de beschten MLOps Tools a Plattformen déi haut verfügbar sinn a wéi se Maschinnléiere méi einfach kënne maachen aus engem Tool, Entwéckler a prozedurale Siicht.
Wat ass MLOps?
Eng Technik fir Politiken, Normen a Best Practices fir Maschinn Léieren Modeller ze kreéieren ass bekannt als "Maschinn Léieren Operatiounen," oder "MLOps."
MLOps zielt fir de ganze Liewenszyklus vun der ML Entwécklung ze garantéieren - vun der Konzeptioun bis zur Installatioun - ass virsiichteg dokumentéiert a geréiert fir déi bescht Resultater anstatt vill Zäit a Ressourcen dran ze investéieren ouni Strategie.
D'Zil vu MLOps ass et fir beschten Praktiken op eng Manéier ze kodifizéieren déi d'Maschinn Léieren Entwécklung méi skalierbar fir ML Bedreiwer an Entwéckler mécht, souwéi d'Qualitéit an d'Sécherheet vun ML Modeller ze verbesseren.
E puer bezeechnen MLOps als "DevOps fir Maschinnléieren" well et erfollegräich DevOps Prinzipien op e méi spezialiséiert Gebitt vun der technologescher Entwécklung applizéiert.
Dëst ass en nëtzleche Wee fir iwwer MLOps ze denken, well et, wéi DevOps, d'Wëssendeelen, d'Zesummenaarbecht a beschten Praktiken ënner Teams an Tools betount.
MLOps bitt Entwéckler, Datewëssenschaftler, an Operatiounsteams e Kader fir ze kooperéieren an, als Resultat, déi mächtegst ML Modeller ze produzéieren.
Firwat MLOps Tools benotzen?
MLOps Tools kënnen eng breet Palette vun Aufgaben fir en ML Team ausféieren, awer si ginn dacks an zwou Gruppen opgedeelt: Plattformverwaltung an individuell Komponentmanagement.
Wärend e puer MLOps Produkter nëmmen op eng eenzeg Kärfunktioun fokusséieren, sou wéi Daten- oder Metadatenmanagement, aner Tools adoptéieren eng méi ëmfaassend Strategie a bidden eng MLOps Plattform fir verschidden Aspekter vum ML Liewenszyklus ze kontrolléieren.
Kuckt no MLOps Léisungen déi Äert Team bei der Gestioun vun dësen ML Entwécklungsberäicher hëllefen, egal ob Dir no engem Spezialist sicht oder e méi breet Tool:
- Ëmgank mat Daten
- Design a Modeller
- Gestioun vun Projeten an Aarbechtsplaz
- ML Modell Deployment a kontinuéierlech Ënnerhalt
- Lifecycle Gestioun vun Ufank bis Enn, déi typesch vun Full-Service MLOps Plattformen ugebuede gëtt.
MLOps Tools
1. MLFlow
D'Maschinn Léieren Liewenszyklus gëtt vun der Open-Source Plattform MLflow kontrolléiert an enthält eng zentral Modellregistréierung, Deployment an Experimenter.
MLflow ka vun all Gréisst Team benotzt ginn, souwuel individuell a kollektiv. Bibliothéiken hunn keen Afloss op d'Tool.
All Programméierungssprooch a Maschinnléierebibliothéik kann et benotzen.
Fir et méi einfach ze trainéieren, z'installéieren an ze verwalten Maschinn Léieren Uwendungen, interagéiert MLFlow mat enger Zuel vu Maschinnléiere Kaderen, inklusiv TensorFlow et Pytorch.
Zousätzlech liwwert MLflow einfach ze benotzen APIen déi an all existent Maschinnléierprogrammer oder Bibliothéiken abegraff kënne ginn.
MLflow huet véier Schlësselfeatures déi Tracking a Planung Experimenter erliichteren:
- MLflow Tracking - eng API an UI fir d'Protokolléiere vu Maschinnléiere Code Parameteren, Versiounen, Metriken, an Artefakte wéi och fir duerno d'Resultater ze weisen an ze kontrastéieren
- MLflow Projects - Verpackungsmaschinn Léiercode an engem wiederverwendbare, reproduzéierbare Format fir Transfert op d'Produktioun oder Deele mat aneren Datewëssenschaftler
- MLflow Modeller - Erhalen an Ofbau vun Modeller op eng Rei vu Modellservéierungs- an Inferenzsystemer vu verschiddene ML Bibliothéiken
- MLflow Model Registry - en zentrale Modellgeschäft deen eng kooperativ Gestioun vun der ganzer Liewensdauer vun engem MLflow Modell erméiglecht, inklusiv Modellversioun, Bühntransitiounen an Annotatiounen.
2. KubeFlow
D'ML Toolbox fir Kubernetes gëtt Kubeflow genannt. Verpakung a Verwalte Docker Container, hëlleft beim Ënnerhalt vun Maschinn Léieren Systemer.
Duerch d'Vereinfachung vun der Runorchestratioun an d'Deploymente vu Maschinnléiere Workflows fördert et d'Skalierbarkeet vu Maschinnléiermodeller.
Et ass en Open-Source Projet deen eng suergfälteg gewielte Grupp vu komplementären Tools a Kaderen enthält, déi op verschidde ML Bedierfnesser ugepasst sinn.
Laang ML Trainingsaufgaben, manuell Experimenter, Widderhuelbarkeet, an DevOps Erausfuerderunge kënne mat Kubeflow Pipelines gehandhabt ginn.
Fir e puer Etappe vun Maschinn Léieren, dorënner Training, Pipeline Entwécklung, an Ënnerhalt vun Jupyter Notizbuch, Kubeflow bitt spezialiséiert Servicer an Integratioun.
Et mécht et einfach d'Liewensdauer vun Ären AI Workloads ze managen an ze verfolgen, souwéi Maschinn Léieren (ML) Modeller an Datenpipelines op Kubernetes Cluster z'installéieren.
Et bitt:
- Notizbicher fir d'SDK ze benotzen fir mam System ze interagéieren
- engem User Interface (UI) fir Kontrollen an Iwwerwachung leeft, Aarbechtsplazen, an Experimenter
- Fir séier end-to-end Léisungen ze designen ouni all Kéier opzebauen, a Komponenten a Pipelines nei ze benotzen.
- Als Schlësselkomponent vu Kubeflow oder als Standalone Installatioun gëtt Kubeflow Pipelines ugebueden.
3. Donnéeën Versioun Kontroll
Eng Open-Source Versiounskontrollléisung fir Maschinnléiereprojete gëtt DVC genannt, oder Data Version Control.
Egal wat Sprooch Dir wielt, et ass en experimentellen Tool dat hëlleft bei der Pipeline Definitioun.
DVC benotzt Code, Dateversionéierung a Reproducibilitéit fir Iech ze hëllefen Zäit ze spueren wann Dir e Problem mat enger fréierer Versioun vun Ärem ML Modell entdeckt.
Zousätzlech kënnt Dir DVC Pipelines benotze fir Äre Modell ze trainéieren an un Är Teammemberen ze verdeelen. Big Data Organisatioun a Versionéierung kënne vum DVC gehandhabt ginn, an d'Donnéeë kënnen op eng liicht zougänglech Manéier gespäichert ginn.
Och wann et e puer (limitéiert) Experiment Tracking Feature enthält, konzentréiert se sech meeschtens op Daten an Pipeline Versiounen a Gestioun.
Et bitt:
- Et ass Späicheragnostiker, dofir ass et méiglech eng Vielfalt vu Späicheraarten ze benotzen.
- Et bitt och Tracking Statistiken.
- e virgebaute Mëttel fir ML Etappen an en DAG ze verbannen an déi ganz Pipeline vun Ufank bis Enn ze lafen
- D'ganz Entwécklung vun all ML Modell ka verfollegt ginn mat sengem ganze Code an Donnéeën.
- Reproducibilitéit andeems se déi initial Konfiguratioun, Inputdaten a Programmcode fir en Experiment trei erhalen.
4. Pachyderm
Pachyderm ass e Versiounskontrollprogramm fir Maschinnléieren an Datewëssenschaft, ähnlech wéi DVC.
Zousätzlech, well et geschaf gouf benotzt Docker et Kubernetes, et kann Machine Learning Uwendungen op all Cloud Plattform ausféieren an ofsetzen.
Pachyderm mécht Garantien datt all Stéck Daten, déi an e Maschinnléiermodell verbraucht ginn, kann zréckverfollegt a versat ginn.
Et gëtt benotzt fir Maschinnléiermodeller ze kreéieren, ze verdeelen, ze managen an en Aen ze halen. E Modellregistrierung, e Modellmanagementsystem an eng CLI Toolbox sinn all abegraff.
D'Entwéckler kënnen hir Maschinnléiere Liewenszyklus automatiséieren an ausbaue mat Pachyderm's Datefondatioun, déi och Widderhuelbarkeet garantéiert.
Et ënnerstëtzt streng Dategouvernancenormen, senkt Dateveraarbechtung a Späicherkäschte, an hëlleft Geschäfter fir hir Datewëssenschaftsinitiativen méi séier op de Maart ze bréngen.
5. Polyaxon
Mat der Polyaxon Plattform kënne Maschinnléiereprojeten an Deep Learning Uwendungen iwwer hire ganze Liewenszyklus replizéiert a geréiert ginn.
Polyaxon ass fäeg den Tool ze hosten an ze verwalten, an et kann an all Datenzenter oder Cloud Provider plazéiert ginn. Sou wéi Torch, Tensorflow, an MXNet, déi all déi populär Deep Learning Kaderen ënnerstëtzen.
Wann et ëm d'Orchestratioun kënnt, erlaabt Polyaxon Iech dat Bescht aus Ärem Cluster ze maachen andeems Dir Aufgaben an Tester iwwer hir CLI, Dashboard, SDKs oder REST API plangt.
Et bitt:
- Dir kënnt d'Open-Source Versioun elo benotzen, awer et enthält och Choixe fir d'Firma.
- Och wann et de komplette Liewenszyklus deckt, inklusiv Run Orchestratioun, ass et vill méi kapabel.
- Mat techneschen Referenzdokumenter, Start Richtlinnen, Léiermaterial, Handbücher, Tutorials, Changelogs, a méi, ass et eng héich dokumentéiert Plattform.
- Mat dem Experiment Abléck Dashboard ass et méiglech all Optimisatiounsexperiment en Aa ze halen, ze verfolgen an ze evaluéieren.
6. Koméit
Comet ass eng Plattform fir Meta Maschinn Léieren déi Experimenter a Modeller verfollegt, kontrastéiert, erkläert a verbessert.
All Är Experimenter kënnen op enger Plaz gesi ginn a verglach ginn.
Et funktionnéiert fir all Maschinnléieretask, iwwerall wou Äre Code ausgefouert gëtt, a mat all Maschinnléierebibliothéik.
Comet ass gëeegent fir Gruppen, Eenzelpersounen, akademesch Institutiounen, Geschäfter, an all aner, déi séier Experimenter visualiséieren, d'Aarbecht streamline an Experimenter maachen.
Datewëssenschaftler an Teams kënnen Experimenter a Modeller verfollegen, klären, verbesseren a vergläichen mat der selbsthostéierter a Cloud-baséierter Meta-Maschinn Léierplattform Comet.
Et bitt:
- Vill Fäegkeeten existéieren fir Teammemberen fir Aufgaben ze deelen.
- Et huet verschidde Integratiounen déi et einfach maachen et mat aneren Technologien ze verbannen
- Funktionéiert gutt mat aktuellen ML Bibliothéiken
- Këmmert sech ëm d'Benotzermanagement
- De Verglach vun Experimenter ass aktivéiert, dorënner e Verglach vu Code, Hyperparameter, Metriken, Prognosen, Ofhängegkeeten a Systemmetriken.
- Bitt verschidde Moduler fir Visioun, Audio, Text an Tabulärdaten, déi Iech Proben visualiséieren.
7. Optuna
Optuna ass e System fir autonom Hyperparameter Optimisatioun, déi souwuel op Maschinnléieren an Deep Learning wéi och aner Felder applizéiert ka ginn.
Et enthält eng Vielfalt vu modernste Algorithmen aus deenen Dir kënnt auswielen (oder verlinken), mécht et ganz einfach Training iwwer vill Computeren ze verdeelen, a bitt attraktiv Resultatervisualiséierung.
Populär Maschinnléierebibliothéike wéi PyTorch, TensorFlow, Keras, FastAI, Sci-Kit-learn, LightGBM, an XGBoost sinn all domat integréiert.
Et bitt modernste Algorithmen déi Clienten erlaben Resultater méi séier ze kréien andeems d'Proben séier reduzéiert ginn déi net villverspriechend ausgesinn.
Mat Python-baséiert Algorithmen sicht se automatesch no den ideale Hyperparameter. Optuna encouragéiert paralleliséiert Hyperparameter Sich iwwer vill Threads ouni den Originalcode z'änneren.
Et bitt:
- Et ënnerstëtzt verdeelt Training op engem Cluster souwéi engem eenzege Computer (Multi-Prozess) (Multi-Node)
- Et ënnerstëtzt verschidde Trimmtechniken fir d'Konvergenz ze beschleunegen (a manner Rechen ze benotzen)
- Et huet eng Vielfalt vu potente Visualiséierungen, wéi Slice Plot, Konturplot, a parallele Koordinaten.
8. Kedro
Kedro ass e gratis Python-Framework fir Code ze schreiwen, dee fir Datenwëssenschaftsprojeten aktualiséiert an erhale ka ginn.
Et bréngt Iddie vu beschten Praktiken a Software Engineering bis Maschinn Léieren Code. Python ass d'Fundament vun dësem Workflow Orchestratiounsinstrument.
Fir Är ML Prozesser méi einfach a méi präzis ze maachen, kënnt Dir reproduzéierbar, erhalebar a modulär Workflows entwéckelen.
Kedro integréiert Software Ingenieursprinzipien wéi Modularitéit, Trennung vu Verantwortung, a Versioun an e Maschinnléierëmfeld.
Op Basis vu Cookiecutter Data Science bitt et e gemeinsamen, adaptéierbare Projet Kader.
Eng Zuel vun einfachen Dateconnectoren, déi benotzt gi fir Daten iwwer verschidde Dateisystemer a Dateiformater ze späicheren an ze lueden, ginn vum Datekatalog geréiert. Et mécht Maschinnléiereprojete méi effektiv a mécht et méi einfach eng Datepipeline opzebauen.
Et bitt:
- Kedro erlaabt entweder verspreet oder solitär Maschinnentsetzung.
- Dir kënnt Ofhängegkeeten tëscht Python Code a Workflow Visualiséierung automatiséieren andeems Dir Pipeline Abstraktioun benotzt.
- Duerch d'Benotzung vu modulare, wiederverwendbare Code, erliichtert dës Technologie Team Zesummenaarbecht op verschiddene Niveauen a verbessert d'Produktivitéit am Kodéierungsëmfeld.
- Dat primärt Zil ass d'Nodeeler vu Jupyter Notizbicher, eemolege Scripten, a Klebcode ze iwwerwannen andeems se erhale Datenwëssenschaftsprogramméierung schreiwen.
9. BentoML
Bauen Maschinn Léieren API Endpunkte gëtt méi einfach gemaach mat BentoML.
Et bitt eng typesch awer condenséiert Infrastruktur fir geléiert Maschinnléiere Modeller an d'Produktioun ze bewegen.
Et erlaabt Iech geléiert Modeller ze packen fir an engem Produktiounsëmfeld ze benotzen, se mat all ML Kader interpretéieren. Béid offline Batch Déngscht an Online API Déngscht ginn ënnerstëtzt.
En High-Performance Modellserver an e flexiblen Workflow si Feature vu BentoML.
Zousätzlech bitt de Server adaptiven Mikro-Batching. Eng vereenegt Approche fir d'Organisatioun vun Modeller an d'Verfollegung vun Deploymentprozeduren gëtt vum UI Dashboard geliwwert.
Et gëtt keng Server-Downtime well de Betribsmechanismus modulär ass an d'Konfiguratioun wiederverwendbar ass. Et ass eng flexibel Plattform fir ML Modeller ze liwweren, z'organiséieren an z'installéieren.
Et bitt:
- Et huet e modulare Design deen adaptéierbar ass.
- Et erméiglecht d'Deployment iwwer verschidde Plattformen.
- Et kann net automatesch horizontal Skala handhaben.
- Et erméiglecht en eenzegt Modellformat, Modellmanagement, Modellverpackung, an High-Performance Model Déngscht.
10. selten
Datewëssenschaftler kënne Maschinnléieremodeller an Experimenter op Skala op Kubernetes erstellen, ofsetzen a verwalten mam Open-Source Seldon Core Kader.
TensorFlow, Sci-Kit-Learn, Spark, R, Java, an H2O si just e puer vun den Toolkits déi dovun ënnerstëtzt ginn.
Et interfacet och mat Kubeflow a RedHat's OpenShift. De Seldon Kär transforméiert Maschinn Léiermodeller (ML Modeller) oder Sproochwrapper (Sprooche wéi Python, Java, etc.) a Produktioun REST / GRPC Mikroservicer.
Ee vun de beschten MLOps Tools fir d'Verbesserung vu Maschinnléierprozesser ass dëst.
Et ass einfach ML Modeller ze containeriséieren an ze testen fir Benotzerfrëndlechkeet a Sécherheet mat Seldon Core.
Et bitt:
- Model Deployment kann méi einfach gemaach ginn mat verschiddenen Alternativen, wéi Kanaresch Deployment.
- Fir ze verstoen firwat spezifesch Prognosen gemaach goufen, benotzt Modellerklärer.
- Wann Problemer entstinn, behalen d'Produktiounsmodeller mat dem Alarmsystem en Aa.
Konklusioun
MLOps kënnen hëllefen Maschinn Léieren Operatiounen besser ze maachen. MLOps kënnen den Détachement beschleunegen, Datensammlung an Debugging méi einfach maachen, an Zesummenaarbecht tëscht Ingenieuren an Datewëssenschaftler verbesseren.
Fir datt Dir de MLOps-Tool wielt dat am Beschten Äre Besoinen entsprécht, huet dëse Post 10 populär MLOps-Léisungen ënnersicht, déi meescht vun deenen Open-Source sinn.
Hannerlooss eng Äntwert