Diversi settori glubale cumincianu à investisce più sustanzialmente in l'apprendimentu automaticu (ML).
I mudelli ML ponu esse inizialmente lanciati è operati da squadre di spezialisti, ma unu di i più grandi ostaculi hè di trasferisce a cunniscenza acquistata à u prossimu mudellu in modu chì i prucessi ponu esse allargati.
Per migliurà è standardizà i prucessi implicati in a gestione di u ciclu di vita di i mudelli, e tecniche MLOps sò sempre più utilizzate da e squadre chì creanu mudelli di apprendimentu di macchina.
Cuntinuà à leghje per sapè di più nantu à alcuni di i migliori strumenti è piattaforme MLOps dispunibili oghje è cumu ponu fà l'apprendimentu automaticu più faciule da un strumentu, sviluppatore è perspettiva procedurale.
Cosa hè MLOps?
Una tecnica per creà pulitiche, normi è e migliori pratiche per i mudelli di apprendimentu di macchina hè cunnisciuta cum'è "operazioni di apprendimentu automaticu" o "MLOps".
MLOps hà u scopu di guarantisce u ciclu di vita tutale di u sviluppu ML - da a cuncepimentu à l'implementazione - hè meticulosamente documentatu è gestitu per i migliori risultati piuttostu cà d'invistisce assai tempu è risorse in questu senza una strategia.
L'obiettivu di MLOps hè di codificà e migliori pratiche in un modu chì rende u sviluppu di l'apprendimentu automaticu più scalabile per l'operatori è i sviluppatori ML, è ancu per rinfurzà a qualità è a sicurità di i mudelli ML.
Qualchidunu si riferiscenu à MLOps cum'è "DevOps per l'apprendimentu automaticu" postu chì applica cun successu i principii DevOps à un campu più specializatu di u sviluppu tecnologicu.
Questu hè un modu utile per pensà à MLOps perchè, cum'è DevOps, enfatiza a spartera di cunniscenze, a cullaburazione è e migliori pratiche trà squadre è arnesi.
MLOps furnisce i sviluppatori, i scientifichi di dati è e squadre di operazioni cun un framework per a cooperazione è, in u risultatu, pruduce i mudelli ML più putenti.
Perchè Aduprate Strumenti MLOps?
L'arnesi MLOps ponu fà una larga gamma di funzioni per una squadra ML, in ogni modu, sò spessu divisi in dui gruppi: amministrazione di piattaforma è gestione di cumpunenti individuale.
Mentre chì certi prudutti MLOps si concentranu solu nantu à una sola funzione core, cum'è a gestione di dati o di metadati, altri arnesi adoptanu una strategia più globale è furnisce una piattaforma MLOps per cuntrullà parechji aspetti di u ciclu di vita ML.
Cercate suluzioni MLOps chì aiutanu a vostra squadra in a gestione di sti spazii di sviluppu ML, sia chì cercate un specialistu o un strumentu più largu:
- Trattamentu di dati
- Disegnu è mudellu
- Gestione di prughjetti è u locu di travagliu
- Implementazione di mudelli ML è mantenimentu cuntinuu
- A gestione di u ciclu di vita da u principiu à a fine, chì hè tipicamente offerta da e plataforme MLOps di serviziu cumpletu.
Strumenti MLOps
1. MLFlow
U ciclu di vita di l'apprendimentu di a macchina hè cuntrullatu da a piattaforma open-source MLflow è include un mudellu centrale di registrazione, implementazione è sperimentazione.
MLflow pò esse usatu da ogni squadra di dimensione, sia individualmente sia cullettivamente. I Biblioteche ùn anu micca impattu annantu à l'utillita.
Qualchese lingua di prugrammazione è libreria di apprendimentu automaticu pò aduprà.
Per fà più simplice per furmà, implementà è gestisce l'applicazioni di apprendimentu di macchina, MLFlow interagisce cù una serie di quadri di apprendimentu di machine, cumprese TensorFlow è Pytorch.
Inoltre, MLflow furnisce API faciuli d'utilizazione chì ponu esse incluse in qualsiasi prugrammi o librerie esistenti di apprendimentu di macchina.
MLflow hà quattru funzioni chjave chì facilitanu u seguimentu è l'esperimenti di pianificazione:
- MLflow Tracking - una API è UI per a registrazione di paràmetri di codice di apprendimentu automaticu, versioni, metriche è artefatti, è ancu per visualizà è cuntrastà i risultati.
- Progetti MLflow - imballaggio di codice di apprendimentu di macchina in un formatu riutilizabile, riproducibile per u trasferimentu à a produzzione o spartera cù altri scientifichi di dati
- Modelli MLflow - mantene è implementà mudelli à una gamma di mudelli di serve è sistemi di inferenza da diverse biblioteche ML
- MLflow Model Registry - un magazzinu di mudelli cintrali chì permette a gestione cooperativa di tutta a vita di un mudellu MLflow, cumprese versioni di mudelli, transizioni di tappe è annotazioni.
2. KubeFlow
U toolbox ML per Kubernetes hè chjamatu Kubeflow. Imballaggio è gestione di cuntenituri Docker, aiuti à u mantenimentu di sistemi di machine learning.
Simplificendu l'orchestrazione di l'esecuzione è l'implementazione di i flussi di travagliu di l'apprendimentu automaticu, prumove a scalabilità di mudelli di apprendimentu automaticu.
Hè un prughjettu open-source chì include un gruppu accuratamente sceltu di strumenti cumplementarii è frameworks adattati à e diverse esigenze ML.
Lunghe attività di furmazione ML, sperimentazione manuale, ripetibilità è sfide DevOps ponu esse trattate cù Kubeflow Pipelines.
Per parechje tappe di l'apprendimentu automaticu, cumprese a furmazione, u sviluppu di pipeline, è u mantenimentu di Quaderni Jupyter, Kubeflow offre servizii specializati è integrazione.
Semplifica a gestione è a traccia di a vita di i vostri carichi di travagliu AI, è ancu di implementà mudelli di apprendimentu automaticu (ML) è pipeline di dati à i cluster Kubernetes.
Offre:
- Notebooks per aduprà u SDK per interagisce cù u sistema
- una interfaccia d'utilizatore (UI) per cuntrullà è surviglianza corse, travaglii è esperimenti
- Per cuncepisce rapidamente soluzioni end-to-end senza avè da ricustruisce ogni volta, è riutilizà cumpunenti è pipelines.
- Cum'è un cumpunente chjave di Kubeflow o cum'è una installazione standalone, Kubeflow Pipelines hè offru.
3. Cuntrollu di versione di dati
Una soluzione di cuntrollu di versione open-source per i prughjetti d'apprendimentu di machine hè chjamata DVC, o Data Version Control.
Qualunque sia a lingua chì sceglite, hè un strumentu sperimentale chì aiuta à a definizione di pipeline.
DVC utilizeghja codice, versione di dati è riproducibilità per aiutà à risparmià tempu quandu scopre un prublema cù una versione precedente di u vostru mudellu ML.
Inoltre, pudete aduprà pipeline DVC per furmà u vostru mudellu è distribuisce à i membri di a vostra squadra. L'urganizazione è a versione di big data ponu esse trattate da DVC, è i dati ponu esse guardati in una manera facilmente accessibile.
Ancu s'ellu include alcune funzioni di seguimentu di l'esperimentu (limitatu), si cuncentra principalmente in a versione è a gestione di dati è pipeline.
Offre:
- Hè agnosticu di almacenamiento, per quessa hè pussibule impiegà una varietà di tipi di almacenamento.
- Fornisce ancu statistiche di seguimentu.
- un mezzu pre-custruitu per unisce e tappe ML in un DAG è eseguisce tuttu u pipeline da u principiu à a fine
- U sviluppu tutale di ogni mudellu ML pò esse seguitu utilizendu u so codice sanu è a provenienza di dati.
- Riproducibilità per cunservà fedelmente a cunfigurazione iniziale, i dati di input è u codice di u prugramma per un esperimentu.
4. Pachiderma
Pachyderm hè un prugramma di cuntrollu di versione per l'apprendimentu automaticu è a scienza di dati, simili à DVC.
Inoltre, perchè hè statu creatu usendu Docker è Kubernetes, pò eseguisce è implementà applicazioni di Machine Learning in ogni piattaforma cloud.
Pachyderm face guarantisci chì ogni pezzu di dati chì hè cunsumatu in un mudellu di machine learning pò esse tracciatu è versioned.
Hè utilizatu per creà, distribuisce, gestisce è mantene un ochju nantu à i mudelli di apprendimentu machine. Un registru di mudelli, un sistema di gestione di mudelli, è una casella di strumenti CLI sò tutti inclusi.
I sviluppatori ponu automatizà è espansione u so ciclu di vita di l'apprendimentu di macchina utilizendu a basa di dati di Pachyderm, chì assicura ancu a ripetibilità.
Supporta standardi stretti di guvernanza di dati, riduce i costi di trasfurmazioni di dati è di almacenamentu, è aiuta l'imprese à purtà e so iniziative di scienza di dati à u mercatu più rapidamente.
5. Polyaxon
Utilizendu a piattaforma Polyaxon, i prughjetti di l'apprendimentu automaticu è l'applicazioni di apprendimentu profondu ponu esse replicati è gestiti in tuttu u so ciclu di vita.
Polyaxon hè capaci di accoglie è amministrà l'uttellu, è pò esse piazzatu in qualsiasi centru di dati o fornitore di nuvola. Cum'è Torch, Tensorflow, è MXNet, chì supportanu tutti i quadri di apprendimentu profondu più populari.
Quandu si tratta di l'orchestrazione, Polyaxon vi permette di sfruttà u vostru cluster pianificendu attività è teste via a so CLI, dashboard, SDK, o REST API.
Offre:
- Pudete aduprà a versione open-source avà, ma include ancu scelte per l'impresa.
- Ancu s'ellu copre u ciclu di vita cumpletu, cumprese l'orchestrazione di eseguisce, hè capace di assai più.
- Cù documenti di riferimentu tecnicu, linee guida per principià, materiali di apprendimentu, manuali, tutoriali, logs di cambiamenti, è più, hè una piattaforma altamente documentata.
- Cù u dashboard insights di l'esperimentu, hè pussibule di guardà, seguità è valutà ogni esperimentu di ottimisazione.
6. Straniera
Comet hè una piattaforma per l'apprendimentu meta-machine chì traccia, cuntrasta, spiega è migliurà esperimenti è mudelli.
Tutti i vostri esperimenti ponu esse vistu è paragunati in un locu.
Funziona per qualsiasi attività di apprendimentu di macchina, in ogni locu induve u vostru codice hè realizatu, è cù qualsiasi libreria di apprendimentu di macchina.
Comet hè adattatu per gruppi, individui, istituzioni accademiche, imprese, è qualcunu chì vulete visualizà rapidamente esperimenti, simplificà u travagliu è cunduce esperimenti.
I scientisti di dati è e squadre ponu seguità, clarificà, migliurà è paragunate esperimenti è mudelli utilizendu a piattaforma di apprendimentu meta-machine auto-ospitata è basata in nuvola Comet.
Offre:
- Ci sò parechje capacità per i membri di a squadra per sparte i travaglii.
- Hà parechje integrazioni chì facenu simplice per ligà cù altre tecnulugia
- Funziona bè cù e librerie ML attuali
- Piglia a gestione di l'utilizatori
- A comparazione di esperimenti hè attivata, cumpresa una comparazione di codice, iperparametri, metriche, predizioni, dipendenze è metriche di u sistema.
- Fornisce moduli distinti per a visione, l'audio, u testu è e dati tabulari chì vi permettenu di visualizà campioni.
7. Optuna
Optuna hè un sistema per l'ottimisazione di iperparametri autònuma chì pò esse appiicata à l'apprendimentu automaticu è à l'apprendimentu profondu, è ancu in altri campi.
Contene una varietà di algoritmi di punta da quale pudete selezziunà (o ligame), rende assai simplice per distribuisce a furmazione nantu à numerosi computer, è offre una visualizazione di risultati attrattivi.
Biblioteche populari di apprendimentu automaticu cum'è PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM è XGBoost sò tutti integrati cun ella.
Fornisce algoritmi di punta chì permettenu à i clienti di ottene risultati più rapidamente riducendu rapidamente i campioni chì ùn parenu micca promettenti.
Utilizendu algoritmi basati in Python, cerca automaticamente l'iperparametri ideali. Optuna favurizeghja e ricerche di iperparametri paralleli in parechji fili senza cambià u codice originale.
Offre:
- Supporta a furmazione distribuita in un cluster è ancu un unicu computer (multi-processu) (multi-node)
- Supporta parechje tecniche di trimming per accelerà a cunvergenza (è aduprà menu calculu)
- Hà una varietà di visualizazioni potenti, cum'è trama di fetta, trama di contorni è coordenate parallele.
8. Kedro
Kedro hè un framework Python gratuitu per scrive codice chì pò esse aghjurnatu è mantinutu per prughjetti di scienza di dati.
Porta idee da e migliori pratiche in l'ingegneria di u software à u codice di apprendimentu automaticu. Python hè u fundamentu di sta strumentu d'orchestrazione di u flussu di travagliu.
Per fà i vostri prucessi ML più simplici è più precisi, pudete sviluppà flussi di travagliu riproducibili, mantenibili è modulari.
Kedro incorpora principii di l'ingegneria di u software cum'è modularità, separazione di responsabilità è versione in un ambiente di apprendimentu automaticu.
In basa di Cookiecutter Data Science, furnisce un quadru di prughjettu cumuni è adattabile.
Una quantità di connettori di dati simplici utilizati per almacenà è carricà e dati in parechji sistemi di fugliali è formati di fugliale, sò gestiti da u catalogu di dati. Rende i prughjetti di apprendimentu automaticu più efficaci è rende più simplice di custruisce un pipeline di dati.
Offre:
- Kedro permette l'implementazione di macchine disperse o solitarie.
- Pudete automatizà e dipendenze trà u codice Python è a visualizazione di u flussu di travagliu utilizendu l'astrazione di pipeline.
- Per mezu di l'usu di codici modulari, riutilizzabili, sta tecnulugia facilita a cullaburazione di squadra à una varietà di livelli è migliurà a produtividade in l'ambiente di codificazione.
- L'ughjettu primariu hè di superà l'inconvenienti di i notebooks Jupyter, i scripts univocali è u codice di colla scrivendu una prugrammazione di scienza di dati manteneble.
9. BentoML
Custruì i punti finali di l'API di apprendimentu automaticu hè facilitatu cù BentoML.
Fornisce una infrastruttura tipica ma condensata per trasfurmà mudelli di apprendimentu automaticu appresi in a produzzione.
Permette di imballà mudelli appresi per l'usu in un ambiente di produzzione, interpretendu cù qualsiasi framework ML. Sia u serviziu di batch offline è u serviziu di l'API in linea sò supportati.
Un servitore di mudellu d'altu rendiment è un flussu di travagliu flessibile sò caratteristiche di BentoML.
Inoltre, u servitore offre micro-batching adattativu. Un approcciu unificatu per l'urganizazione di mudelli è u seguimentu di e prucedure di implementazione hè furnitu da u dashboard UI.
Ùn ci sarà micca un tempu d'inattività di u servitore perchè u mecanismu di u funziunamentu hè modulare è a cunfigurazione hè reutilizabile. Hè una piattaforma flessibile per furnisce, urganizà è implementà mudelli ML.
Offre:
- Havi un disignu modulare chì hè adattabile.
- Permette a implementazione in parechje piattaforme.
- Ùn pò micca trattà automaticamente a scala horizontale.
- Permette un furmatu di mudellu unicu, gestione di mudelli, imballaggio di mudelli è serviziu di mudellu d'altu rendiment.
10. seldon
I scientifichi di dati ponu creà, implementà è gestisce mudelli di apprendimentu di macchina è esperimenti à scala in Kubernetes utilizendu u framework open-source Seldon Core.
TensorFlow, sci-kit-learn, Spark, R, Java è H2O sò solu uni pochi di i toolkits chì sò supportati da questu.
Hè ancu interfaccia cù Kubeflow è RedHat's OpenShift. U core di Seldon trasforma mudelli di machine learning (mudelli ML) o wrappers di lingua (lingue cum'è Python, Java, etc.) in microservizi REST / GRPC di produzzione.
Unu di i migliori strumenti MLOps per migliurà i prucessi di apprendimentu di machine hè questu.
Hè simplice per cuntene mudelli ML è pruvà l'usabilità è a sicurità cù Seldon Core.
Offre:
- A implementazione di mudelli pò esse simplificata cù parechje alternative, cum'è a implementazione di canari.
- Per capisce perchè sò state fatte predizioni specifiche, utilizate spiegatori di mudelli.
- Quandu si presentanu prublemi, tene un ochju nantu à i mudelli di produzzione cù u sistema d'alerta.
cunchiusioni
MLOps pò aiutà à fà megliu l'operazioni di apprendimentu automaticu. MLOps ponu accelerà a implementazione, rende a raccolta di dati è a debugging più simplice, è migliurà a cullaburazione trà ingegneri è scientifichi di dati.
Per voi di sceglie l'uttellu MLOps chì si adatta megliu à i vostri bisogni, stu post hà esaminatu 10 soluzioni MLOps populari, a maiò parte di e quali sò open-source.
Lascia un Audiolibro