Bidh a h-uile duine a dh'fheuch leasachadh ionnsachadh innealan a 'tuigsinn cho duilich' sa tha e. A bharrachd air na duilgheadasan àbhaisteach ann an leasachadh bathar-bog, tha leasachadh ionnsachadh innealan (ML) a’ toirt a-steach grunn chnapan-starra a bharrachd.
Tha na ceudan de dh’ innealan fosgailte rim faighinn gus cuideachadh le gach ìre de chuairt-beatha ML, bho ullachadh dàta gu trèanadh modail.
Eu-coltach ri leasachadh bathar-bog traidiseanta, nuair a thaghas sgiobaidhean aon inneal airson gach ceum, le ML mar as trice bidh thu airson sgrùdadh a dhèanamh air a h-uile inneal a tha ri fhaighinn (me, algairim) gus faicinn a bheil e ag adhartachadh builean.
Mar thoradh air an sin, feumaidh luchd-leasachaidh ML na ceudan de leabharlannan a chleachdadh agus a thoirt gu buil.
Tha mìltean de pharamadairean gnàthaichte ann an algoirmean ionnsachadh inneal, agus tha e duilich faighinn a-mach dè na paramadairean, an còd, agus an dàta a chaidh a-steach do gach deuchainn gus modal a ghineadh, ge bith a bheil thu ag obair leat fhèin no ann an sgioba.
Às aonais sgrùdadh ceart, bidh sgiobaidhean gu tric a’ strì gus an aon chòd fhaighinn airson obrachadh a-rithist. Ge bith an e neach-saidheans dàta a th’ annad a’ gluasad do chòd trèanaidh gu innleadair airson cleachdadh cinneasachaidh, no a bheil thu a’ dol air ais chun obair a rinn thu roimhe gus duilgheadas a lorg, tha e deatamach gun tèid thu air ais ceumannan de shruth-obrach ML.
Dh’ fhaodadh gum bi e duilich modal a ghluasad gu cinneasachadh mar thoradh air na diofar dhòighean cleachdaidh agus àrainneachdan a dh’ fheumar a chleachdadh (me, seirbheis REST, co-dhùnadh baidse, no aplacaidean gluasadach). Chan eil dòigh cumanta ann airson modalan a ghluasad bho leabharlann sam bith gu gin de na h-innealan sin, agus mar sin tha gach cleachdadh ùr a’ toirt a-steach cunnart.
Air sgàth nan cùisean sin, tha e follaiseach gum feum leasachadh ML leasachadh gu mòr gus a bhith cho seasmhach, a tha dùil agus air a chleachdadh gu farsaing ri leasachadh bathar-bog traidiseanta.
Dùbhlain ML
- Tha grunn innealan eadar-dhealaichte ann. Tha na ceudan de fhuasglaidhean bathar-bog rim faighinn gus cuideachadh le gach ìre de chuairt-beatha ionnsachadh inneal, bho ullachadh dàta gu trèanadh modail. A bharrachd air an sin, eu-coltach ri leasachadh bathar-bog traidiseanta, nuair a bhios sgiobaidhean a’ taghadh aon inneal airson gach ceum, ann an ionnsachadh inneal (ML), bidh thu gu tric airson sgrùdadh a dhèanamh air a h-uile inneal a tha ri fhaighinn (me, algairim) gus faicinn a bheil e ag adhartachadh builean. Mar thoradh air an sin, feumaidh luchd-leasachaidh ML na ceudan de leabharlannan a chleachdadh agus a thoirt gu buil.
- Tha e duilich sùil a chumail air deuchainnean. Tha mìltean de pharamadairean gnàthaichte ann an algoirmean ionnsachadh inneal, agus tha e duilich faighinn a-mach dè na paramadairean, an còd, agus an dàta a chaidh a-steach do gach deuchainn gus modal a ghineadh, ge bith a bheil thu ag obair leat fhèin no ann an sgioba.
- Tha e duilich ionnsachadh inneal a chuir an gnìomh. Dh’ fhaodadh gum bi e duilich modal a ghluasad gu cinneasachadh mar thoradh air na diofar dhòighean cleachdaidh agus àrainneachdan a dh’ fheumar a chleachdadh (me, seirbheis REST, co-dhùnadh baidse, no aplacaidean gluasadach). Chan eil dòigh cumanta ann airson modalan a ghluasad bho leabharlann sam bith gu gin de na h-innealan sin. Mar sin, tha gach cleachdadh ùr a’ toirt a-steach cunnart.
Na th’ann ML sruth?
Tha MLflow na àrd-ùrlar stòr fosgailte airson cearcall beatha ionnsachadh inneal. Tha e stèidhichte air bun-bheachd eadar-aghaidh fosgailte, a’ moladh mòran de ghearraidhean riatanach a leigeas le bun-structar gnàthach agus algoirmean ionnsachadh innealan a bhith air am filleadh a-steach gu furasta leis an t-siostam.
Tha seo a’ ciallachadh ma tha thu nad leasaiche a tha airson MLflow a chleachdadh ach a tha a’ cleachdadh frèam gun taic, tha dealbhadh an eadar-aghaidh fosgailte ga dhèanamh gu ìre mhath sìmplidh am frèam sin fhilleadh a-steach agus tòiseachadh ag obair leis an àrd-ùrlar. Ann an cleachdadh, tha seo a’ ciallachadh gu bheil MLflow an dùil a bhith ag obair le gin ionnsachadh innealan leabharlann no cànan.
A bharrachd air an sin, bidh MLflow a ’brosnachadh ath-aithris, a tha a’ ciallachadh gu bheil an aon chòd trèanaidh no ionnsachaidh inneal cinneasachaidh an dùil a ruith leis na h-aon toraidhean neo-eisimeileach bhon àrainneachd, ge bith an ann san sgòth, air ionad-obrach ionadail, no ann an leabhar notaichean.
Mu dheireadh, tha MLflow air a thogail airson scalability, agus mar sin faodar a chleachdadh le sgioba beag de luchd-saidheans dàta a bharrachd air companaidh mòr le ceudan de chleachdaichean ionnsachadh innealan.
Tha MLflow co-chòrdail ri leabharlann ionnsachaidh inneal sam bith, algorithm, inneal cleachdadh, no cànan. Tha na buannachdan a leanas aige cuideachd:
- Air a dhealbhadh gus obrachadh le seirbheis sgòthan sam bith.
- Sgèile gu dàta mòr le Apache Spark.
- Tha MLflow co-chòrdail ri measgachadh de fhrèamaichean ionnsachaidh inneal stòr fosgailte, a’ gabhail a-steach Apache Spark, TensorFlow, agus SciKit-Ionnsaich.
Ma tha còd agad mu thràth, faodar MLflow a chleachdadh leis. Faodaidh tu eadhon am frèam agus na modailean agad a cho-roinn eadar iomairtean leis gu bheil Open-an tùs.
Co-phàirtean MLflow: Ciamar a tha iad ag obair?
Tha MLflow na àrd-ùrlar an-asgaidh agus stòr fosgailte airson a bhith a’ riaghladh cuairt-beatha ML, a tha a’ toirt a-steach deuchainneachd, ath-riochdachadh, cleachdadh, agus clàr aon mhodail. An-dràsta, tha ceithir pàirtean aig MLflow:
1. Rianachd MLflow
Tha mi a’ dol a thòiseachadh le MLflow Tracking. Tha MLflow a’ toirt taic do chruinneachadh de ghrunn bhun-bheachdan riatanach ceangailte ri stòr tracadh meata-dàta trèanaidh meadhanaichte. Is e a’ chiad bheachd cruinneachadh de hyperparameters èiginneach no snaidhmeannan rèiteachaidh a bheir buaidh air coileanadh modail. Faodaidh cleachdadh APIan MLflow agus seirbheis tracadh meadhanaichte iad sin uile a ghleidheadh.
Faodaidh luchd-cleachdaidh cuideachd dàta coileanaidh a chlàradh gus sealladh fhaighinn air soirbheachas nam modalan ionnsachaidh inneal aca. A bharrachd air an sin, airson ath-aithris, tha MLflow a’ leigeil le luchd-cleachdaidh an còd stòr sònraichte a chlàradh a chaidh a chleachdadh gus modail a chruthachadh a bharrachd air an dreach aige le bhith ag aonachadh gu teann le Git gus a h-uile modal a cheangal ri hash gealltanas sònraichte.
Faodar MLflow a chleachdadh gus artifacts a chlàradh, a tha nam faidhlichean neo-riaghailteach a’ toirt a-steach trèanadh, dàta deuchainn, agus modalan iad fhèin airson ath-riochdachadh.
Tha seo a’ ciallachadh mas e leasaiche a th’ annam a tha dìreach air modal a thrèanadh, gun urrainn dhomh cumail a’ dol chun t-seirbheis tracadh meadhanaichte, agus faodaidh aon de mo cho-obraichean a luchdachadh nas fhaide air adhart agus leantainn air adhart a’ trèanadh agus a’ feuchainn no a’ dèanamh a’ mhodail sin gus coinneachadh ri feum sònraichte. .
Nuair a chuireas tu an còd ionnsachaidh inneal agad an gnìomh agus às deidh dhut coimhead air na toraidhean, is e API a th’ ann an tracadh a leigeas leat paramadairean, dreachan còd, meatrach, agus faidhlichean toraidh a chlàradh. Tha e sgrìobhte ann am Python, R, agus Java, am measg chànanan eile. Tha e cuideachd ruigsinneach mar API REST, a dh’ fhaodar a chleachdadh gus aplacaidean a thogail air a bharr.
pRÌOMH CHOMHARRAN
- Bidh mòran de luchd-leasachaidh a’ cleachdadh MLflow air a’ PC ionadail aca, far am bi an backend agus stòradh artifact a’ roinn eòlaire air an diosc.
- Bidh mòran de luchd-cleachdaidh cuideachd a’ fastadh SQLite, stòr-dàta a tha co-chosmhail ri SQLAlchemy, gus MLflow a ruith air na PCan ionadail aca.
- Bidh MLflow cuideachd a’ toirt taic do ailtireachd sgaoilte. Tha an frithealaiche tracadh, stòr backend, agus stòr artifact uile air an cumail air diofar luchd-frithealaidh annta sin.
- Nam biodh an ruith air a thòiseachadh le Pròiseact MLflow, chaidh an git gealltanas hash a chleachdadh. Faodar na MLflow Python, R, Java, agus REST APIs a chleachdadh gus dàta a chlàradh airson a ruith.
Airson tuilleadh fiosrachaidh, faodaidh tu sùil a thoirt air an oifigeach sgrìobhainnean.
2. Pròiseactan MLFlow
Às deidh dhuinn a dhol tro na pàirtean tracadh, bu mhath leam bruidhinn mu phròiseactan MLflow, a tha nan structar pacaidh ath-aithris airson seiseanan trèanaidh modail ge bith dè an co-theacsa cur gu bàs.
Bidh gnìomhachasan a’ cleachdadh raon farsaing de theicneòlasan trèanaidh ionnsachadh inneal, ach bidh iad cuideachd a’ cleachdadh na h-innealan trèanaidh sin ann an seata eadar-mheasgte de cho-theacsan. Mar eisimpleir, is dòcha gu bheil iad a’ cur an gnìomh a’ chòd trèanaidh aca air an sgòth, air PC ionadail, no ann an leabhar notaichean.
Tha seo a’ leantainn gu duilgheadas gu bheil e duilich builean ionnsachaidh inneal ath-riochdachadh. Gu tric, chan eil an aon chòd trèanaidh co-ionann a’ coileanadh no a’ toirt na h-aon toraidhean ann an dà àite eadar-dhealaichte.
Tha am fuasgladh air a thoirt seachad le MLflow na mhìneachadh pròiseact còd trèanaidh fèin-chumanta a tha a’ toirt a-steach a h-uile còd trèanaidh ionnsachadh inneal, a bharrachd air na eisimeileachd leabharlann dreach aige, suidheachaidhean, agus dàta trèanaidh is deuchainn.
Bidh MLflow a’ dèanamh cinnteach à ath-riochdachadh thairis air co-theacsan cur gu bàs le bhith a’ toirt cunntas soilleir air an t-seata iomlan de riatanasan airson pròiseas trèanaidh ionnsachadh inneal. Bidh e a’ coileanadh seo le bhith a’ stàladh na leabharlannan sin gu lèir agus a’ coileanadh an aon staid siostam anns a bheil an còd a’ ruith.
Chan eil am pròiseact MLflow nas motha na eòlaire. Is e eòlaire a th ’ann a tha a’ toirt a-steach an còd trèanaidh, mìneachadh eisimeileachd an leabharlainn, agus dàta eile a tha riatanach ron t-seisean trèanaidh, a bharrachd air am faidhle rèiteachaidh roghainneil seo.
Faodar na riatanasan leabharlainn seo a mhìneachadh ann an grunn dhòighean. Faodaidh luchd-cleachdaidh, mar eisimpleir, sònrachadh àrainneachd anaconda ann an cruth YAML a thoirt seachad gus liosta a dhèanamh de na riatanasan leabharlainn còd trèanaidh aca. Cuiridh MLflow an còd trèanaidh an gnìomh taobh a-staigh an t-soithich. Ann an leithid de chùis, faodaidh iad cuideachd container Docker a thoirt a-steach.
Mu dheireadh, tha eadar-aghaidh loidhne-àithne (CLI) aig MLflow airson na pròiseactan sin a ruith, a bharrachd air Python, agus Java APIs. Faodar na pròiseactan sin a ruith air siostam ionadail an neach-cleachdaidh a bharrachd air ann an grunn shuidheachaidhean iomallach leithid clàr-ama obrach Databricks agus Kubernetes. Leigidh pròiseactan MLflow leat còd saidheans dàta a phacadh ann an dòigh a ghabhas ath-chleachdadh agus ath-chleachdadh, sa mhòr-chuid stèidhichte air inbhean.
Tha pàirt a’ phròiseict a’ toirt a-steach API a bharrachd air goireasan loidhne-àithne airson pròiseactan a stiùireadh. Tha na comasan sin a’ gealltainn gum faodar pròiseactan a cheangal ri chèile gus pròiseasan ionnsachadh innealan a chruthachadh.
pRÌOMH CHOMHARRAN
- Bidh MLflow a’ toirt taic do àrainneachdan pròiseict, a’ toirt a-steach àrainneachd container Docker, àrainneachd Conda, agus àrainneachd an t-siostaim.
- Faodar beachdachadh air stòr Git no eòlaire ionadail sam bith mar phròiseact MLflow; gu bunaiteach; faodaidh tu slige no slige sam bith a chleachdadh Sgriobt Python san eòlaire mar àite inntrigidh pròiseict.
- Faodar eisimeileachd neo-Python, leithid leabharlannan Java, a ghlacadh le bhith a’ cleachdadh soithichean Docker.
- Is dòcha gum faigh thu barrachd smachd air Pròiseact MLflow le bhith a’ cur faidhle pròiseict ri eòlaire freumh a’ phròiseict, a tha na fhaidhle teacsa ann an co-chòrdadh YAML.
Airson tuilleadh fiosrachaidh, faodaidh tu sùil a thoirt air an oifigeach sgrìobhainnean.
3. Modailean MLflow
A-nis, bu mhath leam beachdachadh air modalan MLflow, cruth modail coitcheann a bheir taic do raon farsaing de cho-theacsan toraidh. Tha an adhbhar airson modalan MLflow a-nis gu math coltach ris an adhbhar airson pròiseactan.
A-rithist, chì sinn gum faodar modalan a chruthachadh a’ cleachdadh raon farsaing de dh’ innealan, ach faodar an toirt gu buil no an cleachdadh ann an raon mòr de shuidheachaidhean, an taca ri àrainneachdan trèanaidh.
Tha na roghainnean sin a’ toirt a-steach innealan airson seirbheis fìor-ùine, leithid Kubernetes no Amazon SageMaker, a bharrachd air sruthadh agus sgòradh baidse, leithid Spark. A bharrachd air an sin, faodaidh cuid de ghnìomhachasan roghnachadh modalan a chleachdadh mar sheirbheis lìn RESTful a ’ruith air eisimpleir sgòthan ro-shuidhichte.
Tha modail MLflow, mar phròiseact, na structar eòlaire. Tha e a’ toirt a-steach faidhle rèiteachaidh agus, an turas seo, artifact modail sreathach seach còd trèanaidh. Tha e cuideachd a’ toirt a-steach an t-seata seo de eisimeileachd airson ath-aithris mar phròiseact. An turas seo, nì sinn sgrùdadh air eisimeileachd measaidh ann an co-theacsa àrainneachd Conda.
A bharrachd air an sin, tha MLflow a’ toirt a-steach innealan gineadh modail airson modalan a chuir ann an cruth MLflow bho raon de fhrèamaichean mòr-chòrdte. Mu dheireadh, bidh MLflow a ’cur cleachdadh, APIan airson a bhith a’ dèanamh agus a ’ceangal modal MLflow sam bith ri raon de sheirbheisean, agus tha na APIan sin ruigsinneach ann am Python, Java, R, agus cruth CLI.
Tha modalan nam pàirt le structar àbhaisteach airson modalan pacaidh a dh’ fhaodar a chleachdadh agus a thuigsinn le innealan sìos an abhainn leithid co-dhùnaidhean frithealaichean no an Briogais dàta àrd-ùrlar co-dhùnaidhean batch. Bidh am pàirt seo a’ sàbhaladh uairean de chòd sònraichte nuair a bhios tu a’ pacadh modail airson cinneasachadh.
Tha am Modail MLflow na inbhe airson modalan ionnsachaidh inneal a phacadh ann an grunn chruthan ris an canar “blasadan.” Tha MLflow a’ toirt seachad tòrr innealan gus do chuideachadh le bhith a’ cleachdadh diofar sheòrsaichean de mhodalan. Tha gach Modail MLflow air a chumail mar eòlaire anns a bheil faidhlichean neo-riaghailteach a bharrachd air faidhle tuairisgeul modail ML le liosta de na blasan anns am faodar a chleachdadh.
pRÌOMH CHOMHARRAN
- Tha a h-uile gin de na h-innealan cleachdadh togte aig MLflow a’ tabhann grunn bhlasan “àbhaisteach”, leithid blas “gnìomh Python” a mhìnicheas mar a ruitheas tu am modail mar ghnìomh Python.
- Tha gach Modail MLflow a’ toirt a-steach eòlaire anns a bheil faidhlichean neo-riaghailteach, a bharrachd air faidhle modail ML aig freumh an eòlaire a tha a’ mìneachadh grunn bhlasan a’ mhodail.
- Nuair a bhios tu a’ stòradh modail, leigidh MLflow leat paramadair àrainneachd Conda a shònrachadh anns a bheil eisimeileachd a’ mhodail. Mura h-eil àrainneachd Conda air a shònrachadh, thèid àrainneachd àbhaisteach a thogail stèidhichte air blas a’ mhodail. Às deidh sin, tha àrainneachd Conda air a stòradh ann an conda.yaml.
Airson tuilleadh fiosrachaidh, faodaidh tu sùil a thoirt air an oifigeach sgrìobhainnean.
4. Clàradh modail MLflow
Tha clàr modail na stòr airson modalan ionnsachadh inneal ionnsaichte (ML). Tha Clàr Modail air a dhèanamh suas de APIan agus tagradh stèidhichte air an lìon a thathas a’ cleachdadh gus modalan a chumail aig diofar ìrean mar sgioba. Tha Model Lineage, Model Versioning, Easy Stage Transition, agus Annotation dìreach am measg cuid de na comasan a tha rim faighinn ann an Clàr Modail.
Ann an clàr modail, a bharrachd air na modailean fhèin, tha fiosrachadh (meata-dàta) mun dàta agus gnìomhan trèanaidh a chaidh a chleachdadh gus am modail a thogail. Tha e deatamach gun cùm thu sùil air na cuir a-steach riatanach gus loidhne a chruthachadh airson modalan ML. A thaobh seo, tha clàr modail ag obair mar an ceudna ri bathar-bog àbhaisteach smachd an dreach siostaman (me, Git, SVN) agus stòran artifact (me, Artifactory, PyPI).
Tha an Clàr Modail na fhrèam a leigeas le luchd-saidheans dàta agus innleadairean ionnsachaidh innealan na modalan aca fhoillseachadh, fheuchainn, a sgrùdadh, a riaghladh agus a sgaoileadh airson co-obrachadh le sgiobaidhean eile. Gu bunaiteach, bidh an clàr modail air a chleachdadh aon uair ‘s gu bheil thu air an ìre deuchainn agad a chrìochnachadh agus gu bheil thu deiseil airson na co-dhùnaidhean agad a cho-roinn leis an sgioba agus luchd-ùidh.
Tha Clàr Modail MLflow a’ toirt seachad API agus eadar-aghaidh cleachdaiche airson do mhodalan agus am beatha a riaghladh bho àite meadhanach. Tha loidhne mhodail, dreach modail, notaichean, agus eadar-ghluasadan ìre rim faighinn tron chlàr.
Ann an MLflow, is e modail clàraichte am fear le ainm sònraichte agus meata-dàta, dreachan modail, ìrean eadar-ghluasaid, agus loidhne mhodail. Gheibhear aon dreach modail no barrachd ann am modail clàraichte. Thathas a’ beachdachadh air modail ùr dreach 1 nuair a thèid a chlàradh sa chlàr. Tha an dreach a leanas air a chur ri modail ùr sam bith leis an aon ainm.
Faodaidh tu aon cheum a shònrachadh do dhreach modail sam bith aig àm sam bith. Ach, feumar ìrean a shònrachadh fo na h-ìrean sruth ML a chaidh a shònrachadh gu foirmeil, leithid stèidse, cinneasachadh agus tasglann. Faodar dreach modail a ghluasad bho aon ìre gu ìre eile.
Leigidh MLflow leat comharradh sìos a chleachdadh gus an dà chuid am modal àrd-ìre agus gach dreach sònraichte a chomharrachadh. Faodaidh tu tuairisgeulan a thoirt a-steach a bharrachd air fiosrachadh iomchaidh eile, leithid mìneachaidhean algairim, modh-obrach, agus dàta a chaidh a chleachdadh.
pRÌOMH CHOMHARRAN
- Gus faighinn chun chlàr mhodail tron UI no an API nuair a bhios tu a’ toirt aoigheachd don t-seirbheisiche MLflow agad fhèin, feumaidh tu stòr backend le taic stòr-dàta a chleachdadh.
- Faodar faighinn gu Clàradh Modail cuideachd tro bhlas modail MLflow no eadar-aghaidh MLflow Client Tracking API. Faodaidh tu, mar eisimpleir, modal a chlàradh rè ruith deuchainn MLflow no às deidh do dheuchainnean gu lèir a ruith.
- Cha bhith a h-uile duine a’ tòiseachadh air na modailean aca a thrèanadh le bhith a’ cleachdadh MLflow. Mar thoradh air an sin, is dòcha gu bheil cuid de mhodalan air an trèanadh mus cleachd thu MLflow. An àite a bhith ag ath-thrèanadh nam modalan, tha thu dìreach airson na modalan stòraichte agad a chlàradh leis a’ Chlàraidh Modail.
Airson tuilleadh fiosrachaidh, faodaidh tu sùil a thoirt air an oifigeach sgrìobhainnean.
Co-dhùnadh
Tha MLflow na inneal cuairt-beatha ML sàr-mhath a tha a’ sìor fhàs. Faodaidh tu a chleachdadh còmhla ris na h-innealan agus àrd-ùrlaran gnàthach agad.
Bidh e a’ toirt taic do ghrunn chànanan prògramaidh, a’ gabhail a-steach Python, Java, agus R. Faodaidh tu cuideachd sùil a chumail gu sgiobalta, a shàbhaladh, agus coimeas a dhèanamh eadar diofar dhreachan de mhodail le taing don dealbhadh a tha furasta a chleachdadh.
Feuch ri MLflow agus leig fios dhuinn mun eòlas agad!
Leave a Reply