Mae sawl sector byd-eang yn dechrau buddsoddi'n fwy sylweddol mewn dysgu peirianyddol (ML).
Gellir lansio modelau ML i ddechrau a'u gweithredu gan dimau o arbenigwyr, ond un o'r rhwystrau mwyaf yw trosglwyddo'r wybodaeth a enillwyd i'r model nesaf fel y gellir ehangu prosesau.
Er mwyn gwella a safoni'r prosesau sy'n ymwneud â rheoli cylch bywyd model, mae technegau MLOps yn cael eu defnyddio fwyfwy gan y timau sy'n creu modelau dysgu peiriannau.
Parhewch i ddarllen i ddarganfod mwy am rai o'r offer a'r llwyfannau MLOps gorau sydd ar gael heddiw a sut y gallant wneud dysgu peiriant yn haws o safbwynt offeryn, datblygwr a gweithdrefnol.
Beth yw MLOps?
Gelwir techneg ar gyfer creu polisïau, normau, ac arferion gorau ar gyfer modelau dysgu peiriannau yn “weithrediadau dysgu peiriannau,” neu “MLOps.”
Nod MLOps yw gwarantu bod cylch bywyd cyfan datblygiad ML - o'r cenhedlu i'r defnydd - yn cael ei ddogfennu a'i reoli'n fanwl er mwyn sicrhau'r canlyniadau gorau yn hytrach na buddsoddi llawer o amser ac adnoddau ynddo heb strategaeth.
Nod MLOps yw codeiddio arferion gorau mewn ffordd sy'n gwneud datblygiad dysgu peiriannau yn fwy graddadwy i weithredwyr a datblygwyr ML, yn ogystal â gwella ansawdd a diogelwch modelau ML.
Mae rhai yn cyfeirio at MLOps fel “DevOps for machine learning” gan ei fod yn cymhwyso egwyddorion DevOps yn llwyddiannus i faes mwy arbenigol o ddatblygiad technolegol.
Mae hon yn ffordd ddefnyddiol o feddwl am MLOps oherwydd, fel DevOps, mae'n pwysleisio rhannu gwybodaeth, cydweithredu ac arferion gorau ymhlith timau ac offer.
Mae MLOps yn rhoi fframwaith i ddatblygwyr, gwyddonwyr data a thimau gweithrediadau ar gyfer cydweithredu ac, o ganlyniad, cynhyrchu'r modelau ML mwyaf pwerus.
Pam Defnyddio Offer MLOps?
Gall offer MLOps gyflawni ystod eang o ddyletswyddau ar gyfer tîm ML, fodd bynnag, maent yn aml yn cael eu rhannu'n ddau grŵp: gweinyddu platfform a rheoli cydrannau unigol.
Er bod rhai cynhyrchion MLOps yn canolbwyntio ar un swyddogaeth graidd yn unig, megis rheoli data neu fetadata, mae offer eraill yn mabwysiadu strategaeth fwy hollgynhwysol ac yn darparu llwyfan MLOps i reoli sawl agwedd ar gylch bywyd ML.
Chwiliwch am atebion MLOps sy'n cynorthwyo'ch tîm i reoli'r meysydd datblygu ML hyn, p'un a ydych chi'n chwilio am arbenigwr neu offeryn mwy eang:
- Trin data
- Dylunio a modelu
- Rheoli prosiectau a gweithle
- Defnyddio model ML a chynnal a chadw parhaus
- Rheoli cylch bywyd o'r dechrau i'r diwedd, a gynigir fel arfer gan lwyfannau MLOps gwasanaeth llawn.
Offer MLOps
1. MLFlow
Mae'r cylch bywyd dysgu peiriant yn cael ei reoli gan MLflow y platfform ffynhonnell agored ac mae'n cynnwys cofrestru, defnyddio ac arbrofi model canolog.
Gall tîm o unrhyw faint ddefnyddio MLflow, yn unigol ac ar y cyd. Nid yw llyfrgelloedd yn cael unrhyw effaith ar yr offeryn.
Gall unrhyw iaith raglennu a llyfrgell dysgu peiriannau ei ddefnyddio.
Er mwyn ei gwneud hi'n haws hyfforddi, defnyddio a rheoli cymwysiadau dysgu peiriant, mae MLFlow yn rhyngweithio â nifer o fframweithiau dysgu peiriant, gan gynnwys TensorFlow a Pytorch.
Yn ogystal, mae MLflow yn darparu APIs hawdd eu defnyddio y gellir eu cynnwys mewn unrhyw raglenni dysgu peiriannau neu lyfrgelloedd presennol.
Mae gan MLflow bedair nodwedd allweddol sy'n hwyluso olrhain a chynllunio arbrofion:
- Olrhain MLflow - API ac UI ar gyfer cofnodi paramedrau cod dysgu peiriant, fersiynau, metrigau, ac arteffactau yn ogystal ag ar gyfer arddangos a chyferbynnu'r canlyniadau wedi hynny
- Prosiectau MLflow - cod dysgu peiriant pecynnu mewn fformat y gellir ei ailddefnyddio, y gellir ei atgynhyrchu i'w drosglwyddo i gynhyrchu neu rannu gyda gwyddonwyr data eraill
- Modelau MLflow - cynnal a defnyddio modelau i ystod o systemau gwasanaethu model a chasgliad o lyfrgelloedd ML amrywiol
- Cofrestrfa Model MLflow - storfa fodel ganolog sy'n galluogi rheolaeth gydweithredol o hyd oes model MLflow, gan gynnwys fersiwn model, trawsnewidiadau cam, ac anodiadau.
2. Ciwblif
Gelwir y blwch offer ML ar gyfer Kubernetes yn Kubeflow. Pecynnu a rheoli cynwysyddion Docwyr, cymhorthion wrth gynnal a chadw systemau dysgu peirianyddol.
Trwy symleiddio offeryniaeth rhediad a defnydd o lifoedd gwaith dysgu peiriant, mae'n hyrwyddo scalability modelau dysgu peiriant.
Mae'n brosiect ffynhonnell agored sy'n cynnwys grŵp a ddewiswyd yn ofalus o offer a fframweithiau cyflenwol wedi'u teilwra i wahanol anghenion ML.
Gellir ymdrin â thasgau hyfforddi ML hir, arbrofi â llaw, ailadroddadwyedd, a heriau DevOps gyda Kubeflow Piblinellau.
Ar gyfer sawl cam o ddysgu peiriant, gan gynnwys hyfforddi, datblygu piblinellau, a chynnal a chadw llyfrau nodiadau Jupyter, Kubeflow yn cynnig gwasanaethau arbenigol ac integreiddio.
Mae'n ei gwneud hi'n syml rheoli ac olrhain oes eich llwythi gwaith AI yn ogystal â defnyddio modelau dysgu peiriant (ML) a phiblinellau data i glystyrau Kubernetes.
Mae'n cynnig:
- Llyfrau nodiadau ar gyfer defnyddio'r SDK i ryngweithio â'r system
- rhyngwyneb defnyddiwr (UI) ar gyfer rheoli a monitro rhediadau, swyddi ac arbrofion
- Dylunio datrysiadau pen-i-ben yn gyflym heb orfod ailadeiladu bob tro, ac ailddefnyddio cydrannau a phiblinellau.
- Fel elfen allweddol o Kubeflow neu fel gosodiad annibynnol, cynigir Kubeflow Pipelines.
3. Rheoli Fersiwn Data
Gelwir datrysiad rheoli fersiwn ffynhonnell agored ar gyfer prosiectau dysgu peiriannau yn DVC, neu Reoli Fersiwn Data.
Pa bynnag iaith a ddewiswch, mae'n arf arbrofol sy'n helpu i ddiffinio piblinellau.
Mae DVC yn defnyddio cod, fersiwn data, ac atgynhyrchu i'ch helpu i arbed amser pan fyddwch chi'n darganfod problem gyda fersiwn gynharach o'ch model ML.
Yn ogystal, gallwch ddefnyddio piblinellau DVC i hyfforddi'ch model a'i ddosbarthu i aelodau'ch tîm. Gall DVC drin trefniadaeth a fersiynau data mawr, a gellir storio'r data mewn modd hawdd ei gyrraedd.
Er ei fod yn cynnwys rhai nodweddion olrhain arbrofion (cyfyngedig), mae'n canolbwyntio'n bennaf ar fersiynau a rheolaeth data a phiblinellau.
Mae'n cynnig:
- Mae'n agnostig storio, felly mae'n bosibl defnyddio amrywiaeth o fathau storio.
- Mae'n darparu ystadegau olrhain hefyd.
- dull parod o uno camau ML i DAG a rhedeg y biblinell gyfan o'r dechrau i'r diwedd
- Gellir dilyn datblygiad cyfan pob model ML gan ddefnyddio ei god cyfan a tharddiad data.
- Atgynhyrchadwyedd trwy gadw'n ffyddlon y cyfluniad cychwynnol, data mewnbwn, a chod rhaglen ar gyfer arbrawf.
4. Pachyderm
Mae Pachyderm yn rhaglen rheoli fersiwn ar gyfer dysgu peiriannau a gwyddor data, yn debyg i DVC.
Yn ogystal, oherwydd iddo gael ei greu gan ddefnyddio Docker a Kubernetes, gall weithredu a defnyddio cymwysiadau Dysgu Peiriant ar unrhyw lwyfan cwmwl.
Mae Pachyderm yn gwarantu y gellir olrhain pob darn o ddata sy'n cael ei ddefnyddio i fodel dysgu peiriant yn ôl a'i fersiwn.
Fe'i defnyddir i greu, dosbarthu, rheoli, a chadw llygad ar fodelau dysgu peiriannau. Mae cofrestrfa fodel, system rheoli model, a blwch offer CLI i gyd wedi'u cynnwys.
Gall datblygwyr awtomeiddio ac ehangu eu cylch bywyd dysgu peiriannau gan ddefnyddio sylfaen data Pachyderm, sydd hefyd yn sicrhau ailadroddadwyedd.
Mae'n cefnogi safonau llywodraethu data llym, yn gostwng costau prosesu a storio data, ac yn cynorthwyo busnesau i ddod â'u mentrau gwyddor data i'r farchnad yn gyflymach.
5. Polyaxon
Gan ddefnyddio platfform Polyaxon, gellir ailadrodd a rheoli prosiectau dysgu peiriannau a chymwysiadau dysgu dwfn dros eu cylch bywyd cyfan.
Mae Polyaxon yn gallu cynnal a gweinyddu'r offeryn, a gellir ei roi mewn unrhyw ganolfan ddata neu ddarparwr cwmwl. Fel Torch, Tensorflow, a MXNet, sy'n cefnogi pob un o'r fframweithiau dysgu dwfn mwyaf poblogaidd.
O ran offeryniaeth, mae Polyaxon yn eich galluogi i wneud y gorau o'ch clwstwr trwy amserlennu tasgau a phrofion trwy eu CLI, dangosfwrdd, SDKs, neu REST API.
Mae'n cynnig:
- Gallwch ddefnyddio'r fersiwn ffynhonnell agored ar hyn o bryd, ond mae hefyd yn cynnwys dewisiadau ar gyfer y corfforaethol.
- Er ei fod yn cwmpasu'r cylch bywyd cyflawn, gan gynnwys offeryniaeth rhediad, mae'n gallu gwneud llawer mwy.
- Gyda dogfennau cyfeirio technegol, canllawiau cychwyn arni, deunyddiau dysgu, llawlyfrau, tiwtorialau, changelogs, a mwy, mae'n blatfform sydd wedi'i ddogfennu'n dda iawn.
- Gyda dangosfwrdd mewnwelediadau'r arbrawf, mae'n bosibl cadw llygad ar bob arbrawf optimeiddio, ei olrhain a'i werthuso.
6. Comet
Mae Comet yn blatfform ar gyfer dysgu peirianyddol meta sy'n olrhain, yn cyferbynnu, yn esbonio ac yn gwella arbrofion a modelau.
Gellir gweld a chymharu eich holl arbrofion mewn un lleoliad.
Mae'n gweithredu ar gyfer unrhyw dasg dysgu peiriant, unrhyw le y mae eich cod yn cael ei berfformio, a gydag unrhyw lyfrgell dysgu peiriant.
Mae comed yn briodol ar gyfer grwpiau, unigolion, sefydliadau academaidd, busnesau, ac unrhyw un arall sy'n dymuno delweddu arbrofion yn gyflym, symleiddio gwaith, a chynnal arbrofion.
Gall gwyddonwyr data a thimau olrhain, egluro, gwella a chymharu arbrofion a modelau gan ddefnyddio'r llwyfan dysgu peiriant meta hunangynhaliol a cwmwl Comet.
Mae'n cynnig:
- Mae llawer o alluoedd yn bodoli i aelodau tîm rannu tasgau.
- Mae ganddo sawl integreiddiad sy'n ei gwneud hi'n hawdd ei gysylltu â thechnolegau eraill
- Yn gweithredu'n dda gyda llyfrgelloedd ML cyfredol
- Yn gofalu am reoli defnyddwyr
- Galluogir cymhariaeth arbrofion, gan gynnwys cymhariaeth o god, hyperparameters, metrigau, rhagfynegiadau, dibyniaethau, a metrigau system.
- Yn darparu modiwlau penodol ar gyfer data gweledigaeth, sain, testun, a thablau sy'n caniatáu ichi ddelweddu samplau.
7. Optuna
Mae Optuna yn system ar gyfer optimeiddio hyperparamedr ymreolaethol y gellir ei chymhwyso i ddysgu peirianyddol a dysgu dwfn yn ogystal â meysydd eraill.
Mae'n cynnwys amrywiaeth o algorithmau blaengar y gallwch ddewis (neu gysylltu) ohonynt, yn ei gwneud hi'n syml iawn i ddosbarthu hyfforddiant dros nifer o gyfrifiaduron, ac yn cynnig delweddu canlyniadau deniadol.
Mae llyfrgelloedd dysgu peiriannau poblogaidd fel PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, ac XGBoost i gyd wedi'u hintegreiddio ag ef.
Mae'n darparu algorithmau blaengar sy'n galluogi cwsmeriaid i gael canlyniadau yn gyflymach trwy leihau'n gyflym y samplau nad ydynt yn edrych yn addawol.
Gan ddefnyddio algorithmau sy'n seiliedig ar Python, mae'n chwilio'n awtomatig am yr hyperparamedrau delfrydol. Mae Optuna yn annog chwiliadau hyperparamedr cyfochrog ar draws llawer o edafedd heb newid y cod gwreiddiol.
Mae'n cynnig:
- Mae'n cefnogi hyfforddiant gwasgaredig ar glwstwr yn ogystal ag un cyfrifiadur (aml-broses) (aml-nodyn)
- Mae'n cefnogi nifer o dechnegau tocio i gyflymu cydgyfeiriant (a defnyddio llai o gyfrifo)
- Mae ganddo amrywiaeth o ddelweddau cryf, megis llain tafell, plot cyfuchlin, a chyfesurynnau cyfochrog.
8. Kedro
Mae Kedro yn fframwaith Python am ddim ar gyfer ysgrifennu cod y gellir ei ddiweddaru a'i gynnal ar gyfer prosiectau gwyddor data.
Mae'n dod â syniadau o arferion gorau mewn peirianneg meddalwedd i god dysgu peiriannau. Python yw sylfaen yr offeryn cerddorfa llif gwaith hwn.
I wneud eich prosesau ML yn symlach ac yn fwy manwl gywir, gallwch ddatblygu llifoedd gwaith atgenhedladwy, cynaliadwy a modiwlaidd.
Mae Kedro yn ymgorffori egwyddorion peirianneg meddalwedd fel modiwlaredd, gwahanu cyfrifoldebau, a fersiynau mewn amgylchedd dysgu peiriannau.
Ar sail Gwyddoniaeth Data Cookiecutter, mae'n darparu fframwaith prosiect cyffredin y gellir ei addasu.
Mae nifer o gysylltwyr data syml a ddefnyddir i storio a llwytho data ar draws sawl system ffeil a fformat ffeil, yn cael eu rheoli gan y catalog data. Mae'n gwneud prosiectau dysgu peiriant yn fwy effeithiol ac yn ei gwneud hi'n symlach i adeiladu piblinell ddata.
Mae'n cynnig:
- Mae Kedro yn caniatáu ar gyfer defnyddio peiriannau gwasgaredig neu unigol.
- Gallwch awtomeiddio dibyniaethau rhwng cod Python a delweddu llif gwaith gan ddefnyddio tynnu piblinellau.
- Trwy ddefnyddio cod modiwlaidd y gellir ei ailddefnyddio, mae'r dechnoleg hon yn hwyluso cydweithrediad tîm ar amrywiaeth o lefelau ac yn gwella cynhyrchiant yn yr amgylchedd codio.
- Y prif nod yw goresgyn anfanteision llyfrau nodiadau Jupyter, sgriptiau untro, a chod glud trwy ysgrifennu rhaglennu gwyddor data cynaliadwy.
9. BentoML
Mae adeiladu pwyntiau terfyn API dysgu peiriant yn haws gyda BentoML.
Mae'n darparu seilwaith nodweddiadol ond cyddwys i symud modelau dysgu peiriannau a ddysgwyd i gynhyrchu.
Mae'n eich galluogi i becynnu modelau a ddysgwyd i'w defnyddio mewn gosodiad cynhyrchu, gan eu dehongli gan ddefnyddio unrhyw fframwaith ML. Cefnogir gwasanaeth swp all-lein a gwasanaeth API ar-lein.
Mae gweinydd model perfformiad uchel a llif gwaith hyblyg yn nodweddion BentoML.
Yn ogystal, mae'r gweinydd yn cynnig micro-sypynnu addasol. Mae'r dangosfwrdd UI yn darparu dull unedig o drefnu modelau a chadw golwg ar weithdrefnau defnyddio.
Ni fydd unrhyw amser segur gweinydd oherwydd bod y mecanwaith gweithredu yn fodiwlaidd a gellir ailddefnyddio'r ffurfweddiad. Mae'n blatfform hyblyg ar gyfer darparu, trefnu a defnyddio modelau ML.
Mae'n cynnig:
- Mae ganddo ddyluniad modiwlaidd y gellir ei addasu.
- Mae'n galluogi ei ddefnyddio ar draws sawl platfform.
- Ni all drin graddio llorweddol yn awtomatig.
- Mae'n galluogi fformat model sengl, rheoli model, pecynnu model, a gwasanaeth model perfformiad uchel.
10. Seldon
Gall gwyddonwyr data greu, defnyddio a rheoli modelau dysgu peirianyddol ac arbrofion ar raddfa fawr ar Kubernetes gan ddefnyddio fframwaith ffynhonnell agored Seldon Core.
Dim ond rhai o'r pecynnau cymorth a gefnogir ganddo yw TensorFlow, sci-kit-lean, Spark, R, Java, a H2O.
Mae hefyd yn rhyngwynebu â Kubeflow ac OpenShift RedHat. Mae craidd Seldon yn trawsnewid modelau dysgu peiriannau (modelau ML) neu ddeunydd lapio iaith (ieithoedd fel Python, Java, ac ati) yn ficrowasanaethau cynhyrchu REST/GRPC.
Un o'r offer MLOps gorau ar gyfer gwella prosesau dysgu peiriannau yw'r un hwn.
Mae'n syml cynnwys modelau ML a phrofi defnyddioldeb a diogelwch gan ddefnyddio Seldon Core.
Mae'n cynnig:
- Gellir gwneud y defnydd o fodelau yn symlach gyda nifer o ddewisiadau eraill, megis defnyddio caneri.
- I ddeall pam y gwnaed rhagfynegiadau penodol, defnyddiwch esboniadau enghreifftiol.
- Pan fydd materion yn codi, cadwch lygad ar y modelau cynhyrchu gan ddefnyddio'r system rhybuddio.
Casgliad
Gall MLOps helpu i wella gweithrediadau dysgu peiriannau. Gall MLOps gyflymu'r defnydd, gwneud casglu data a dadfygio yn symlach, a gwella cydweithrediad rhwng peirianwyr a gwyddonwyr data.
Er mwyn i chi ddewis yr offeryn MLOps sy'n gweddu orau i'ch anghenion, archwiliodd y swydd hon 10 datrysiad MLOps poblogaidd, y rhan fwyaf ohonynt yn ffynhonnell agored.
Gadael ymateb