Conteúdo[Esconder][Mostrar]
- 1. O que você entende por MLOps?
- 2. Como os cientistas de dados, engenheiros de dados e engenheiros de ML variam entre si?
- 3. O que distingue MLOps de ModelOps e AIOps?
- 4. Você pode me contar alguns dos benefícios do MLOps?
- 5. Você pode me dizer os componentes do MLOps?
- 6. Quais são os riscos do uso da ciência de dados?
- 7. Você pode explicar, o que é deriva de modelo?
- 8. De quantas maneiras diferentes os MLOps podem ser aplicados, na sua opinião?
- 9. O que separa a implantação estática da implantação dinâmica?
- 10. Quais técnicas de teste de produção você conhece?
- 11. O que distingue o processamento em fluxo do processamento em lote?
- 12. O que você quer dizer com Treinamento Servindo Distorção?
- 13. O que você entende por Registro de Modelos?
- 14. Você pode detalhar os benefícios do Registro de Modelos?
- 15. Você pode explicar que a técnica Champion-Challenger funciona?
- 16. Descreva os aplicativos de nível corporativo do ciclo de vida do MLOps?
- Conclusão
As empresas estão usando tecnologias emergentes como inteligência artificial (IA) e aprendizado de máquina (ML) com mais frequência para aumentar a acessibilidade do público a informações e serviços.
Essas tecnologias estão sendo cada vez mais usadas em vários setores, incluindo bancos, finanças, varejo, manufatura e até saúde.
Cientistas de dados, engenheiros de aprendizado de máquina e engenheiros em inteligência artificial estão em demanda de um número crescente de empresas.
Conhecendo o possível aprendizado de máquina perguntas de entrevista de operação que gerentes de contratação e recrutadores podem fazer para você é essencial se você quiser trabalhar nos campos de ML ou MLOps.
Você pode aprender a responder a algumas das perguntas da entrevista de MLOps neste post enquanto trabalha para conseguir o emprego dos seus sonhos.
1. O que você entende por MLOps?
O tópico de operacionalização de modelos de ML é o foco do MLOps, também conhecido como Machine Learning Operations, um campo em desenvolvimento dentro da arena mais importante de AI/DS/ML.
O principal objetivo da abordagem e cultura de engenharia de software conhecida como MLOps é integrar a criação de modelos de aprendizado de máquina/ciência de dados e sua subsequente operacionalização (Ops).
DevOps e MLOps convencionais compartilham certas semelhanças, no entanto, o MLOps também difere muito do DevOps tradicional.
O MLOps adiciona uma nova camada de complexidade concentrando-se nos dados, enquanto o DevOps se concentra principalmente na operacionalização de código e versões de software que não podem ser stateful.
A combinação de ML, Data e Ops é o que dá ao MLOps seu nome comum (aprendizado de máquina, engenharia de dados e DevOps).
2. Como os cientistas de dados, engenheiros de dados e engenheiros de ML variam entre si?
Varia, na minha opinião, dependendo da empresa. O ambiente para o transporte e transformação de dados, bem como seu armazenamento, é construído por engenheiros de dados.
Os cientistas de dados são especialistas na utilização de técnicas científicas e estatísticas para analisar dados e tirar conclusões, incluindo fazer previsões sobre o comportamento futuro com base nas tendências que estão em vigor.
Os engenheiros de software estudavam operações e gerenciavam a infraestrutura de implantação há alguns anos. As equipes de operações, por outro lado, estudavam o desenvolvimento enquanto usavam a infraestrutura como código. Uma posição de DevOps foi produzida por esses dois fluxos.
MLOps está na mesma categoria que Cientista de dados e Engenheiro de Dados. Os engenheiros de dados estão adquirindo conhecimento sobre a infraestrutura necessária para dar suporte aos ciclos de vida do modelo e criar pipelines para treinamento contínuo.
Os cientistas de dados buscam desenvolver seus recursos de implantação e pontuação de modelos.
Um pipeline de dados de nível de produção é criado por engenheiros de ML utilizando a infraestrutura que transforma dados brutos na entrada necessária para um modelo de ciência de dados, hospeda e executa o modelo e gera um conjunto de dados pontuado para sistemas downstream.
Tanto engenheiros de dados quanto cientistas de dados podem se tornar engenheiros de ML.
3. O que distingue MLOps de ModelOps e AIOps?
Ao construir de ponta a ponta algoritmos de aprendizado de máquina, o MLOps é um aplicativo DevOps que inclui coleta de dados, pré-processamento de dados, criação de modelos, implantação de modelos em produção, monitoramento de modelos em produção e atualização periódica de modelos.
O uso de DevOps para lidar com toda a implementação de qualquer algoritmo, como Modelos Baseados em Regras, é conhecido como ModelOps.
AIOps está aproveitando os princípios de DevOps para criar aplicativos de IA do zero.
4. Você pode me contar alguns dos benefícios do MLOps?
- Cientistas de dados e desenvolvedores de MLOps podem executar novamente testes rapidamente para garantir que os modelos sejam treinados e avaliados adequadamente, pois o MLOps ajuda a automatizar todas ou a maioria das tarefas/etapas no MDLC (ciclo de vida de desenvolvimento de modelo). Além disso, permite versionamento de dados e modelos.
- Colocar as ideias de MLOps em prática permite que engenheiros de dados e cientistas de dados tenham acesso irrestrito a conjuntos de dados cultivados e curados, o que acelera exponencialmente o desenvolvimento de modelos.
- Os cientistas de dados poderão recorrer ao modelo com melhor desempenho se a iteração atual não corresponder às expectativas, graças à capacidade de ter modelos e conjuntos de dados com versão, o que melhorará significativamente a trilha de auditoria do modelo.
- Como os métodos MLOps dependem fortemente do DevOps, eles também incorporam vários conceitos de CI/CD, o que aprimora a qualidade e confiabilidade do código.
5. Você pode me dizer os componentes do MLOps?
Design: MLOps incluem fortemente design thinking. Começando com a natureza do problema, testando hipóteses, arquitetura e implantação
Construção de modelo: O teste e a validação do modelo fazem parte desta etapa, juntamente com os pipelines de engenharia de dados e a experimentação para configurar os melhores sistemas de aprendizado de máquina.
Operações: O modelo deve ser implementado como parte das operações e continuamente verificado e avaliado. Os processos de CI/CD são então monitorados e iniciados usando uma ferramenta de orquestração.
6. Quais são os riscos do uso da ciência de dados?
- É difícil dimensionar o modelo em toda a empresa.
- Sem aviso, o modelo desliga e para de funcionar.
- Principalmente, a precisão dos modelos piora com o tempo.
- O modelo faz previsões imprecisas com base em uma observação específica que não pode ser mais examinada.
- Os cientistas de dados também devem manter modelos, mas são caros.
- MLOps podem ser usados para reduzir esses riscos.
7. Você pode explicar, o que é deriva de modelo?
Quando o desempenho da fase de inferência de um modelo (usando dados do mundo real) se deteriora em relação ao desempenho da fase de treinamento, isso é conhecido como desvio de modelo, também conhecido como desvio de ideia (usando dados históricos rotulados).
O desempenho do modelo é distorcido em comparação com as fases de treinamento e atendimento, daí o nome “distorção treinar/servir”.
Inúmeros fatores, incluindo:
- A maneira fundamental como os dados são distribuídos mudou.
- O treinamento se concentrou em um pequeno número de categorias, porém, uma mudança ambiental que acabou de ocorrer acrescentou outra área.
- Nas dificuldades de NLP, os dados do mundo real têm uma quantidade desproporcionalmente maior de tokens numéricos do que os dados de treinamento.
- Ocorrências inesperadas, como um modelo baseado em dados pré-COVID com previsão de desempenho significativamente pior em dados coletados durante a epidemia de COVID-19.
O monitoramento contínuo do desempenho do modelo é sempre necessário para identificar o desvio do modelo.
O retreinamento do modelo quase sempre é necessário como solução quando há um declínio persistente no desempenho do modelo; o motivo do declínio deve ser identificado e os procedimentos de tratamento apropriados devem ser usados.
8. De quantas maneiras diferentes os MLOps podem ser aplicados, na sua opinião?
Existem três métodos para colocar MLOps em prática:
MLOps nível 0 (processo manual): neste nível, todas as etapas, incluindo preparação de dados, análise e treinamento, são executadas manualmente. Cada etapa deve ser realizada manualmente, assim como a transição de uma para outra.
A premissa subjacente é que sua equipe de ciência de dados gerencia apenas um pequeno número de modelos que não são atualizados com frequência.
Como resultado, não há Integração Contínua (CI) ou Implantação Contínua (CD), e testar o código normalmente é integrado à execução de script ou execução de notebook, com a implantação ocorrendo em um microsserviço com um API REST.
MLOps nível 1 (automação do pipeline de ML): Ao automatizar o processo de ML, o objetivo é treinar continuamente o modelo (CT). Você pode realizar a entrega de serviço de previsão de modelo contínua dessa maneira.
Nossa implantação de um pipeline de treinamento completo garante que o modelo seja treinado automaticamente em produção utilizando novos dados com base em gatilhos de pipeline ativos.
MLOps nível 2 (automação do pipeline de CI/CD): Ele vai um passo acima do nível de MLOps. Um forte sistema automatizado de CI/CD é necessário se você deseja atualizar os pipelines em produção de forma rápida e confiável:
- Você cria o código-fonte e executa vários testes em todo o estágio de CI. Pacotes, executáveis e artefatos são as saídas do estágio, que serão implantadas posteriormente.
- Os artefatos criados pelo estágio de CI são implantados no ambiente de destino durante a etapa de CD. Um pipeline implantado com a implementação do modelo revisado é a saída do estágio.
- Antes que o pipeline inicie uma nova iteração do experimento, os cientistas de dados ainda devem fazer a fase de análise de dados e modelos manualmente.
9. O que separa a implantação estática da implantação dinâmica?
O modelo é treinado offline para Implantação estática. Em outras palavras, treinamos o modelo precisamente uma vez e depois o utilizamos por um tempo. Após o modelo ter sido treinado localmente, ele é armazenado e enviado ao servidor para ser usado para produzir previsões em tempo real.
O modelo é então distribuído como software de aplicação instalável. um programa que permite a pontuação em lote de solicitações, como ilustração.
O modelo é treinado online para Implantação dinâmica. Ou seja, novos dados são constantemente adicionados ao sistema, e o modelo é atualizado continuamente para dar conta deles.
Como resultado, você pode fazer previsões usando um servidor sob demanda. Depois disso, o modelo é colocado em uso sendo fornecido como um endpoint de API que reage às consultas do usuário, usando um framework web como Flask ou FastAPI.
10. Quais técnicas de teste de produção você conhece?
Teste de lote: Ao realizar testes em um ambiente diferente daquele de seu ambiente de treinamento, ele verifica o modelo. Usando métricas de escolha, como precisão, RMSE, etc., o teste em lote é feito em um grupo de amostras de dados para verificar a inferência do modelo.
O teste em lote pode ser realizado em uma variedade de plataformas de computação, como um servidor de teste, um servidor remoto ou a nuvem. Normalmente, o modelo é fornecido como um arquivo serializado, que é carregado como um objeto e inferido a partir dos dados de teste.
Teste A / B Exemplo: crie XNUMX textos de email > XNUMX pessoas na sua lista, XNUMX receberao XNUMX email e XNUMX receberão outro e veja qual email converteu mais: É frequentemente usado para analisar campanhas de marketing, bem como para o design de serviços (sites, aplicativos móveis, etc.).
Com base na empresa ou nas operações, abordagens estatísticas são usadas para analisar os resultados dos testes A/B para decidir qual modelo terá melhor desempenho na produção. Normalmente, o teste A/B é feito da seguinte maneira:
- Os dados ao vivo ou em tempo real são divididos ou segmentados em dois conjuntos, Conjunto A e Conjunto B.
- Os dados do Conjunto A são enviados para o modelo desatualizado, enquanto os dados do Conjunto B são enviados para o modelo atualizado.
- Dependendo do caso de uso de negócios ou processos, várias abordagens estatísticas podem ser usadas para avaliar o desempenho do modelo (por exemplo, exatidão, precisão etc.) para determinar se o novo modelo (modelo B) supera o modelo antigo (modelo A).
- Em seguida, fazemos o teste de hipótese estatística: A hipótese nula diz que o novo modelo não tem efeito sobre o valor médio dos indicadores de negócios que estão sendo monitorados. De acordo com a hipótese alternativa, o novo modelo aumenta o valor médio dos indicadores de monitoramento do negócio.
- Por fim, avaliamos se o novo modelo resulta em uma melhora significativa em determinados KPIs de negócios.
Uma sombra ou teste de palco: um modelo é avaliado em uma duplicata de um ambiente de produção antes de ser usado na produção (ambiente de preparo).
Isso é crucial para determinar o desempenho do modelo com dados em tempo real e validar a resiliência do modelo. é realizado inferindo os mesmos dados que o pipeline de produção e entregando a ramificação desenvolvida ou um modelo a ser testado em um servidor de teste.
A única desvantagem é que nenhuma escolha de negócios será feita no servidor de teste ou visível para os usuários finais como resultado da ramificação de desenvolvimento.
A resiliência e o desempenho do modelo serão avaliados estatisticamente usando os resultados do ambiente de teste usando as métricas apropriadas.
11. O que distingue o processamento em fluxo do processamento em lote?
Podemos manipular as características que utilizamos para produzir nossas previsões em tempo real usando dois métodos de processamento: lote e fluxo.
Processo descontínuo recursos de um ponto anterior no tempo para um objeto específico, que é então utilizado para gerar previsões em tempo real.
- Aqui, podemos fazer cálculos intensivos de recursos offline e preparar os dados para inferência rápida.
- Apresenta, no entanto, uma idade desde que foram predeterminadas no passado. Isso pode ser uma grande desvantagem se o seu prognóstico for baseado em ocorrências recentes. (Por exemplo, identificar transações fraudulentas assim que possível.)
Com recursos de streaming quase em tempo real para uma entidade específica, a inferência é realizada no processamento de fluxo em um determinado conjunto de entradas.
- Aqui, ao fornecer ao modelo recursos de streaming em tempo real, podemos obter previsões mais precisas.
- No entanto, é necessária infraestrutura adicional para processamento de fluxo e para manter fluxos de dados (Kafka, Kinesis, etc). (Apache Flink, Beam, etc.)
12. O que você quer dizer com Treinamento Servindo Distorção?
A disparidade entre o desempenho ao sacar e o desempenho durante o treinamento é conhecida como distorção entre treinamento e saque. Essa inclinação pode ser induzida pelos seguintes fatores:
- Uma diferença em como você lida com dados entre os pipelines para veiculação e treinamento.
- Uma mudança nos dados do seu treinamento para o seu serviço.
- Um canal de feedback entre seu algoritmo e modelo.
13. O que você entende por Registro de Modelos?
O Model Registry é um repositório central onde os criadores de modelos podem publicar modelos adequados para uso em produção.
Os desenvolvedores podem colaborar com outras equipes e partes interessadas para gerenciar a vida útil de todos os modelos dentro da empresa usando o registro. Os modelos treinados podem ser carregados no registro de modelos por um cientista de dados.
Os modelos são preparados para teste, validação e implantação para produção assim que estiverem no registro. Além disso, os modelos treinados são armazenados em registros de modelos para acesso rápido por qualquer aplicativo ou serviço integrado.
Para testar, avaliar e implantar o modelo em produção, desenvolvedores de software e os revisores podem reconhecer e escolher rapidamente apenas a melhor versão dos modelos treinados (com base nos critérios de avaliação).
14. Você pode detalhar os benefícios do Registro de Modelos?
A seguir estão algumas maneiras pelas quais o registro de modelo simplifica o gerenciamento do ciclo de vida do modelo:
- Para facilitar a implantação, salve os requisitos e metadados de tempo de execução para seus modelos treinados.
- Seus modelos treinados, implantados e aposentados devem ser registrados, rastreados e controlados por versão em um repositório centralizado e pesquisável.
- Crie pipelines automatizados que permitem entrega, treinamento e integração contínuos de seu modelo de produção.
- Compare modelos recém-treinados (ou modelos desafiadores) no ambiente de teste com modelos que estão atualmente operando em produção (modelos campeões).
15. Você pode explicar que a técnica Champion-Challenger funciona?
É possível testar várias decisões operacionais em produção usando a técnica Champion Challenger. Você provavelmente já ouviu falar sobre testes A/B no contexto de marketing.
Por exemplo, você pode escrever duas linhas de assunto distintas e distribuí-las aleatoriamente para seu público-alvo para maximizar a taxa de abertura de uma campanha de e-mail.
O sistema registra o desempenho de um e-mail (ou seja, ação de abertura de e-mail) em relação à sua linha de assunto, permitindo que você compare a taxa de abertura de cada linha de assunto para determinar qual é a mais eficaz.
O Champion-Challenger é comparável aos testes A/B nesse sentido. Você pode usar a lógica de decisão para avaliar cada resultado e selecionar o mais eficaz enquanto experimenta vários métodos para chegar a uma escolha.
O modelo de maior sucesso se correlaciona com o campeão. O primeiro desafiante e a lista correspondente de desafiantes agora são tudo o que está presente na primeira fase de execução, em vez do campeão.
O campeão é escolhido pelo sistema para outras execuções de etapas de trabalho.
Os desafiantes são contrastados uns com os outros. O novo campeão é então determinado pelo desafiante que produz os maiores resultados.
As tarefas envolvidas no processo de comparação campeão-desafiador estão listadas abaixo com mais detalhes:
- Avaliando cada um dos modelos rivais.
- Avaliação das notas finais.
- Comparar os resultados da avaliação para estabelecer o desafiante vitorioso.
- Adicionando o novo campeão ao arquivo
16. Descreva os aplicativos de nível corporativo do ciclo de vida do MLOps?
Precisamos parar de considerar o aprendizado de máquina apenas como um experimento iterativo para que os modelos de aprendizado de máquina entrem em produção. MLOps é a união da engenharia de software com aprendizado de máquina.
O resultado final deve ser imaginado como tal. Portanto, o código de um produto tecnológico deve ser testado, funcional e modular.
O MLOps tem uma vida útil comparável a um fluxo de aprendizado de máquina convencional, com a exceção de que o modelo é mantido no processo até a produção.
Os engenheiros de MLOps ficam de olho nisso para garantir que a qualidade do modelo em produção seja a pretendida.
Aqui estão alguns casos de uso para várias das tecnologias MLOps:
- Registros Modelo: É o que parece ser. Equipes maiores armazenam e mantêm o controle de modelos de versão em registros de modelos. Mesmo voltar para uma versão anterior é uma opção.
- Feature Store: Ao lidar com conjuntos de dados maiores, pode haver versões distintas dos conjuntos de dados analíticos e subconjuntos para tarefas específicas. Uma loja de recursos é uma maneira de ponta e de bom gosto de usar o trabalho de preparação de dados de execuções anteriores ou de outras equipes.
- Armazenamentos de metadados: é crucial monitorar os metadados corretamente durante toda a produção para que dados não estruturados, como dados de imagem e texto, sejam usados com sucesso.
Conclusão
É fundamental ter em mente que, na maioria dos casos, o entrevistador busca um sistema, enquanto o candidato busca uma solução.
O primeiro é baseado em suas habilidades técnicas, enquanto o segundo é sobre o método que você emprega para demonstrar sua competência.
Existem vários procedimentos que você deve seguir ao responder às perguntas da entrevista de MLOps para ajudar o entrevistador a entender melhor como você pretende avaliar e resolver o problema em questão.
Sua concentração está mais na reação incorreta do que na correta. Uma solução conta uma história e seu sistema é a melhor ilustração de seu conhecimento e capacidade de comunicação.
Deixe um comentário