Innholdsfortegnelse[Gjemme seg][Forestilling]
- 1. Hva mener du med MLOps?
- 2. Hvordan varierer dataforskere, dataingeniører og ML-ingeniører fra hverandre?
- 3. Hva skiller MLOps fra ModelOps og AIOps?
- 4. Kan du fortelle meg noen av fordelene med MLOps?
- 5. Kan du fortelle meg komponentene i MLOps?
- 6. Hvilke risikoer følger med å bruke datavitenskap?
- 7. Kan du forklare, hva er modelldrift?
- 8. Hvor mange forskjellige måter kan MLOps brukes på, mener du?
- 9. Hva skiller statisk distribusjon fra dynamisk distribusjon?
- 10. Hvilke produksjonstestteknikker er du klar over?
- 11. Hva skiller strømbehandling fra batchbehandling?
- 12. Hva mener du med Trening Serving Skew?
- 13. Hva mener du med Model Registry?
- 14. Kan du utdype fordelene med Model Registry?
- 15. Kan du forklare Champion-Challenger-teknikken fungerer?
- 16. Beskriv applikasjonene på bedriftsnivå for MLOps livssyklus?
- konklusjonen
Bedrifter bruker nye teknologier som kunstig intelligens (AI) og maskinlæring (ML) oftere for å øke publikums tilgjengelighet til informasjon og tjenester.
Disse teknologiene brukes i økende grad i en rekke sektorer, inkludert bank, finans, detaljhandel, produksjon og til og med helsetjenester.
Dataforskere, maskinlæringsingeniører og ingeniører innen kunstig intelligens er etterspurt fra et økende antall selskaper.
Å kjenne det mulige maskinlæring operasjonsintervjuspørsmål som ansettelsesledere og rekrutterere kan stille til deg er avgjørende hvis du ønsker å jobbe i ML- eller MLOps-feltene.
Du kan lære hvordan du svarer på noen av MLOps-intervjuspørsmålene i dette innlegget mens du jobber mot å få drømmejobben din.
1. Hva mener du med MLOps?
Temaet for operasjonalisering av ML-modeller er fokus for MLOps, også kjent som Machine Learning Operations, et utviklingsfelt innenfor den mer store AI/DS/ML-arenaen.
Hovedmålet med programvareingeniørtilnærmingen og kulturen kjent som MLOps er å integrere etableringen av maskinlærings-/datavitenskapsmodeller og deres påfølgende operasjonalisering (Ops).
Konvensjonelle DevOps og MLOps deler visse likheter, men MLOps skiller seg også sterkt fra tradisjonelle DevOps.
MLOps legger til et nytt lag av kompleksitet ved å fokusere på data, mens DevOps primært fokuserer på operasjonalisering av kode og programvareutgivelser som ikke kan være stateful.
Kombinasjonen av ML, Data og Ops er det som gir MLOps sitt vanlige navn (maskinlæring, datateknikk og DevOps).
2. Hvordan varierer dataforskere, dataingeniører og ML-ingeniører fra hverandre?
Det varierer, etter min mening, avhengig av firmaet. Miljøet for transport og transformasjon av data, samt lagring av dem, bygges opp av dataingeniører.
Dataforskere er eksperter på å bruke vitenskapelige og statistiske teknikker for å analysere data og trekke konklusjoner, inkludert å lage spådommer om fremtidig atferd basert på trendene som nå er på plass.
Programvareingeniører studerte drift og administrerte distribusjonsinfrastruktur for noen år siden. Ops-team, derimot, studerte utvikling mens de brukte infrastruktur som kode. En DevOps-posisjon ble produsert av disse to strømmene.
MLOps er i samme kategori som Dataforsker og dataingeniør. Dataingeniører får kunnskap om infrastrukturen som trengs for å støtte modelllivssykluser og lage rørledninger for pågående opplæring.
Dataforskere søker å utvikle sine modelldistribusjons- og scoringsevner.
En datapipeline i produksjonsgrad bygges av ML-ingeniører som bruker infrastrukturen som transformerer rådata til input som trengs av en datavitenskapsmodell, er vert for og kjører modellen, og sender ut et scoret datasett til nedstrømssystemer.
Både dataingeniører og dataforskere er i stand til å bli ML-ingeniører.
3. Hva skiller MLOps fra ModelOps og AIOps?
Når du bygger ende-til-ende maskinlæringsalgoritmer, MLOps er en DevOps-applikasjon som inkluderer datainnsamling, dataforbehandling, modelloppretting, modelldistribusjon i produksjon, modellovervåking i produksjon og periodisk modelloppgradering.
Bruken av DevOps til å håndtere hele implementeringen av alle algoritmer, for eksempel regelbaserte modeller, er kjent som ModelOps.
AIOps utnytter DevOps-prinsippene for å lage AI-apper fra bunnen av.
4. Kan du fortelle meg noen av fordelene med MLOps?
- Dataforskere og MLOps-utviklere kan raskt kjøre forsøk på nytt for å sikre at modellene blir trent og vurdert på riktig måte, siden MLOps hjelper til med å automatisere alle eller de fleste oppgavene/trinnene i MDLC (modellutviklingslivssyklus). I tillegg tillatelser data- og modellversjon.
- Å sette MLOps-ideer ut i livet gjør det mulig for dataingeniører og dataforskere å ha ubegrenset tilgang til kultiverte og kuraterte datasett, noe som eksponentielt akselererer utviklingen av modeller.
- Dataforskere vil kunne falle tilbake på modellen som presterte bedre hvis den nåværende iterasjonen ikke lever opp til forventningene takket være muligheten til å få modeller og datasett versjonert, noe som vil forbedre modellens revisjonsspor betydelig.
- Siden MLOps-metoder er sterkt avhengige av DevOps, inkluderer de også en rekke CI/CD-konsepter, noe som forbedrer kvaliteten og påliteligheten til koden.
5. Kan du fortelle meg komponentene i MLOps?
utforming: MLOps inkluderer i stor grad designtenkning. Starter med problemets natur, testing av hypoteser, arkitektur og distribusjon
Modellbygg: Modelltesting og validering er en del av dette trinnet, sammen med datateknikk-pipelines og eksperimentering for å sette opp de beste maskinlæringssystemene.
Drift: Modellen skal implementeres som en del av driften og fortløpende kontrolleres og evalueres. CI/CD-prosessene blir deretter overvåket og startet ved hjelp av et orkestreringsverktøy.
6. Hvilke risikoer følger med å bruke datavitenskap?
- Det er vanskelig å skalere modellen på tvers av selskapet.
- Uten forvarsel slår modellen seg av og slutter å fungere.
- For det meste blir nøyaktigheten til modellene dårligere med tiden.
- Modellen gjør unøyaktige spådommer basert på en spesifikk observasjon som ikke kan undersøkes nærmere.
- Dataforskere bør også vedlikeholde modeller, men de er dyre.
- MLOps kan brukes til å redusere disse risikoene.
7. Kan du forklare, hva er modelldrift?
Når en modells inferensfaseytelse (ved bruk av data fra den virkelige verden) forringes fra ytelsen i treningsfasen, er dette kjent som modelldrift, også kjent som idédrift (ved bruk av historiske, merkede data).
Modellens ytelse er skjev i forhold til trenings- og serveringsfasene, derav navnet "train/serve skew".
Mange faktorer, inkludert:
- Den grunnleggende måten data distribueres på har endret seg.
- Treningen fokuserte på et lite antall kategorier, men et miljøskifte som nettopp fant sted la til et annet område.
- I NLP-vansker har de virkelige dataene en uforholdsmessig større mengde tallsymboler enn treningsdataene.
- Uventede hendelser, for eksempel en modell bygget på data fra før COVID-19 som er spådd å gi betydelig dårligere resultater på data samlet inn under covid-XNUMX-epidemien.
Kontinuerlig overvåking av modellens ytelse er alltid nødvendig for å identifisere modelldrift.
Modellomskolering er nesten alltid nødvendig som et middel når det er en vedvarende nedgang i modellens ytelse; årsaken til nedgangen må identifiseres og hensiktsmessige behandlingsprosedyrer må brukes.
8. Hvor mange forskjellige måter kan MLOps brukes på, mener du?
Det er tre metoder for å implementere MLOps i praksis:
MLOps nivå 0 (manuell prosess): På dette nivået utføres alle trinn – inkludert dataforberedelse, analyse og opplæring – manuelt. Hvert trinn må utføres manuelt, samt overgangen fra den ene til den neste.
Den underliggende forutsetningen er at datavitenskapsteamet ditt bare administrerer et lite antall modeller som ikke oppdateres ofte.
Som et resultat er det ikke Continuous Integration (CI) eller Continuous Deployment (CD), og testing av koden er vanligvis integrert i skriptkjøring eller notebook-kjøring, med distribusjon som skjer i en mikrotjeneste med en REST API.
MLOps nivå 1 (automatisering av ML-rørledningen): Ved å automatisere ML-prosessen er målet å kontinuerlig trene modellen (CT). Du kan oppnå kontinuerlig levering av modellprediksjonstjenester på denne måten.
Vår utrulling av en hel treningspipeline sikrer at modellen automatisk trenes i produksjon ved å bruke nye data basert på aktive pipeline-triggere.
MLOps nivå 2 (automatisering av CI/CD-rørledningen): Det går ett trinn over MLOps-nivå. Et sterkt automatisert CI/CD-system er nødvendig hvis du vil oppdatere rørledninger i produksjon raskt og pålitelig:
- Du lager kildekode og utfører en rekke tester gjennom hele CI-stadiet. Pakker, kjørbare filer og artefakter er scenens utganger, som vil bli distribuert på et senere tidspunkt.
- Artefaktene opprettet av CI-stadiet distribueres til målmiljøet under CD-trinnet. En distribuert pipeline med den reviderte modellimplementeringen er scenens utgang.
- Før rørledningen starter en ny iterasjon av eksperimentet, må dataforskere fortsatt gjøre data- og modellanalysefasen manuelt.
9. Hva skiller statisk distribusjon fra dynamisk distribusjon?
Modellen er trent offline for Statisk distribusjon. Med andre ord trener vi modellen nøyaktig én gang og bruker den så en stund. Etter at modellen har blitt trent lokalt, lagres den og sendes til serveren for å brukes til å produsere sanntidsprediksjoner.
Modellen distribueres deretter som installerbar applikasjonsprogramvare. et program som tillater batch scoring av forespørsler, som en illustrasjon.
Modellen er opplært online for Dynamisk distribusjon. Det vil si at det hele tiden legges til nye data i systemet, og modellen oppdateres fortløpende for å ta hensyn til det.
Som et resultat kan du lage spådommer ved å bruke en server på forespørsel. Deretter tas modellen i bruk ved å bli levert som et API-endepunkt som reagerer på brukerforespørsler, ved hjelp av et nettrammeverk som Kolbe eller FastAPI.
10. Hvilke produksjonstestteknikker er du klar over?
Partietesting: Ved å utføre testing i en setting som er forskjellig fra treningsmiljøet, verifiserer den modellen. Ved å bruke valgbare beregninger, for eksempel nøyaktighet, RMSE, etc., utføres batchtesting på en gruppe dataprøver for å bekrefte modellslutning.
Batchtesting kan utføres på en rekke dataplattformer, for eksempel en testserver, en ekstern server eller skyen. Vanligvis leveres modellen som en serialisert fil, som lastes inn som et objekt og utledes fra testdata.
A / B-testing: Det brukes ofte til å analysere markedsføringskampanjer samt for utforming av tjenester (nettsider, mobilapplikasjoner, etc.).
Basert på selskapet eller driften, brukes statistiske tilnærminger for å analysere resultatene av A/B-testing for å avgjøre hvilken modell som vil prestere bedre i produksjon. Vanligvis utføres A/B-testing på følgende måte:
- Live- eller sanntidsdata er delt eller segmentert i to sett, sett A og sett B.
- Data fra sett A sendes til den utdaterte modellen, mens data fra sett B sendes til den oppdaterte modellen.
- Avhengig av business use case eller prosesser, kan flere statistiske tilnærminger brukes for å evaluere modellytelse (for eksempel nøyaktighet, presisjon osv.) for å avgjøre om den nye modellen (modell B) utkonkurrerer den gamle modellen (modell A).
- Deretter foretar vi statistisk hypotesetesting: Nullhypotesen sier at den nye modellen ikke har noen effekt på gjennomsnittsverdien av virksomhetsindikatorene som overvåkes. I henhold til den alternative hypotesen øker den nye modellen gjennomsnittsverdien av overvåkingsvirksomhetsindikatorene.
- Til slutt vurderer vi om den nye modellen resulterer i en betydelig forbedring av enkelte forretnings-KPIer.
En skygge- eller scenetest: En modell evalueres i et duplikat av et produksjonsmiljø før den brukes i produksjon (staging-miljø).
Dette er avgjørende for å bestemme modellens ytelse med sanntidsdata og validere modellens motstandskraft. utføres ved å utlede de samme dataene som produksjonsrørledningen og levere den utviklede grenen eller en modell som skal testes på en staging-server.
Den eneste ulempen er at ingen forretningsvalg vil bli gjort på oppsamlingsserveren eller synlige for sluttbrukere som følge av utviklingsgrenen.
Modellens motstandsdyktighet og ytelse vil bli vurdert statistisk ved å bruke resultatene fra iscenesettelsesmiljøet ved å bruke passende beregninger.
11. Hva skiller strømbehandling fra batchbehandling?
Vi kan manipulere egenskapene vi bruker for å produsere sanntidsprognosene våre ved å bruke to behandlingsmetoder: batch og stream.
Batch prosess funksjoner fra et tidligere tidspunkt for et spesifikt objekt, som deretter brukes til å generere sanntidsprediksjoner.
- Her er vi i stand til å gjøre intensive funksjonsberegninger offline og ha dataene forberedt for rask slutning.
- Har imidlertid en alder siden de var forhåndsbestemt i fortiden. Dette kan være en stor ulempe hvis prognosen din er basert på nylige hendelser. (For eksempel identifisere uredelige transaksjoner så snart som mulig.)
Med strømmefunksjoner tilnærmet sanntid for en spesifikk enhet, utføres slutningen i strømbehandling på et gitt sett med innganger.
- Her, ved å gi modellen sanntids, strømmefunksjoner, kan vi få mer nøyaktige spådommer.
- Det kreves imidlertid ytterligere infrastruktur for strømbehandling og for å vedlikeholde datastrømmer (Kafka, Kinesis, etc.). (Apache Flink, Beam, etc.)
12. Hva mener du med Trening Serving Skew?
Forskjellen mellom ytelse ved servering og ytelse under trening er kjent som treningsserveringsskjevheten. Denne skjevheten kan induseres av følgende faktorer:
- En forskjell i hvordan du håndterer data mellom rørledningene for servering og opplæring.
- Et skifte i dataene fra treningen til tjenesten din.
- En tilbakemeldingskanal mellom din algoritme og modell.
13. Hva mener du med Model Registry?
Model Registry er et sentralt depot hvor modellskapere kan publisere modeller som egner seg for bruk i produksjon.
Utviklere kan samarbeide med andre team og interessenter for å administrere levetiden til alle modellene i virksomheten ved å bruke registeret. De trente modellene kan lastes opp til modellregisteret av en dataforsker.
Modellene er forberedt for testing, validering og distribusjon til produksjon når de er i registeret. I tillegg er opplærte modeller lagret i modellregistre for rask tilgang med en hvilken som helst integrert applikasjon eller tjeneste.
For å teste, evaluere og distribuere modellen til produksjon, programvareutviklere og anmeldere kan raskt gjenkjenne og velge akkurat den beste versjonen av de trente modellene (basert på evalueringskriteriene).
14. Kan du utdype fordelene med Model Registry?
Følgende er noen måter modellregisteret effektiviserer modelllivssyklusadministrasjon på:
- For å gjøre distribusjonen enklere, lagre kjøretidskravene og metadataene for de trente modellene dine.
- Dine trente, utplasserte og pensjonerte modeller bør registreres, spores og versjoneres i et sentralisert, søkbart arkiv.
- Lag automatiserte rørledninger som muliggjør kontinuerlig levering, opplæring og integrering av produksjonsmodellen din.
- Sammenlign nyopplærte modeller (eller utfordrermodeller) i iscenesettelsesmiljøet med modeller som for tiden er i produksjon (mestermodeller).
15. Kan du forklare Champion-Challenger-teknikken fungerer?
Det er mulig å teste ulike operasjonelle beslutninger i produksjonen ved hjelp av en Champion Challenger-teknikk. Du har sikkert hørt om A/B-testing i markedsføringssammenheng.
Du kan for eksempel skrive to distinkte emnelinjer og distribuere dem tilfeldig til måldemografien din for å maksimere åpningsfrekvensen for en e-postkampanje.
Systemet logger en e-posts ytelse (dvs. e-poståpning) i forhold til emnelinjen, slik at du kan sammenligne hver emnelinjes åpningshastighet for å finne ut hvilken som er mest effektiv.
Champion-Challenger kan sammenlignes med A/B-testing i denne forbindelse. Du kan bruke beslutningslogikk til å evaluere hvert utfall og velge det mest effektive mens du eksperimenterer med ulike metoder for å komme til et valg.
Den mest suksessrike modellen korrelerer med mesteren. Den første utfordreren og den matchende listen over utfordrere er nå alt som er til stede i den første utførelsesfasen i stedet for mesteren.
Mesteren velges av systemet for videre utførelse av jobbtrinn.
Utfordrerne står i kontrast til hverandre. Den nye mesteren bestemmes deretter av utfordreren som produserer de beste resultatene.
Oppgavene involvert i mester-utfordrer-sammenligningsprosessen er oppført nedenfor i mer detalj:
- Evaluering av hver av de konkurrerende modellene.
- Vurderer sluttresultatene.
- Sammenligning av evalueringsresultatene for å etablere den seirende utfordreren.
- Legger den ferske mesteren til arkivet
16. Beskriv applikasjonene på bedriftsnivå for MLOps livssyklus?
Vi må slutte å betrakte maskinlæring som bare et iterativt eksperiment for at maskinlæringsmodeller skal komme i produksjon. MLOps er foreningen av programvareteknikk med maskinlæring.
Det ferdige resultatet bør tenkes slik. Derfor må koden for et teknologisk produkt være testet, funksjonell og modulær.
MLOps har en levetid som kan sammenlignes med en konvensjonell maskinlæringsflyt, med unntak av at modellen holdes i prosessen frem til produksjon.
MLOps-ingeniørene holder deretter et øye med dette for å forsikre seg om at modellkvaliteten i produksjonen er det som er tiltenkt.
Her er noen bruksområder for flere av MLOps-teknologiene:
- Modellregistre: Det er hva det ser ut til å være. Større team lagrer og vedlikeholder oversikt over versjonsmodeller i modellregistre. Selv å gå tilbake til en tidligere versjon er et alternativ.
- Feature Store: Når du arbeider med større datasett, kan det være forskjellige versjoner av analytiske datasett og delsett for spesifikke oppgaver. En funksjonsbutikk er en banebrytende, smakfull måte å bruke dataforberedelsesarbeid fra tidligere kjøringer eller fra andre team også.
- Lagre for metadata: Det er avgjørende å overvåke metadata riktig gjennom hele produksjonen dersom ustrukturerte data, som bilde- og tekstdata, skal brukes på en vellykket måte.
konklusjonen
Det er viktig å huske på at i de fleste tilfeller er intervjueren ute etter et system, mens kandidaten søker en løsning.
Den første er basert på dine tekniske ferdigheter, mens den andre handler om metoden du bruker for å demonstrere kompetansen din.
Det er flere prosedyrer du bør følge når du svarer på MLOs-intervjuspørsmål for å hjelpe intervjueren bedre å forstå hvordan du har tenkt å vurdere og løse problemet.
Konsentrasjonen deres er mer på den feilaktige reaksjonen enn den rette. En løsning forteller en historie, og systemet ditt er den beste illustrasjonen på din kunnskap og kapasitet til kommunikasjon.
Legg igjen en kommentar