Índice del contenido[Esconder][Espectáculo]
- 1. ¿Qué quiere decir con MLOps?
- 2. ¿Cómo difieren entre sí los científicos de datos, los ingenieros de datos y los ingenieros de ML?
- 3. ¿Qué distingue a MLOps de ModelOps y AIOps?
- 4. ¿Puede decirme algunos de los beneficios de MLOps?
- 5. ¿Me puede decir los componentes de MLOps?
- 6. ¿Qué riesgos conlleva el uso de la ciencia de datos?
- 7. ¿Puede explicar qué es la desviación del modelo?
- 8. ¿De cuántas maneras diferentes se pueden aplicar MLOps, en su opinión?
- 9. ¿Qué separa la implementación estática de la implementación dinámica?
- 10. ¿Qué técnicas de prueba de producción conoce?
- 11. ¿Qué distingue al procesamiento continuo del procesamiento por lotes?
- 12. ¿A qué se refiere con entrenamiento de sesgo de servicio?
- 13. ¿Qué entiende por Registro Modelo?
- 14. ¿Puede dar más detalles sobre los beneficios del Registro Modelo?
- 15. ¿Puedes explicar cómo funciona la técnica Champion-Challenger?
- 16. Describa las aplicaciones de nivel empresarial del ciclo de vida de MLOps.
- Conclusión
Las empresas están utilizando tecnologías emergentes como la inteligencia artificial (AI) y el aprendizaje automático (ML) con más frecuencia para aumentar la accesibilidad del público a la información y los servicios.
Estas tecnologías se utilizan cada vez más en una variedad de sectores, incluidos la banca, las finanzas, el comercio minorista, la fabricación e incluso la atención médica.
Los científicos de datos, los ingenieros de aprendizaje automático y los ingenieros en inteligencia artificial son demandados por un número cada vez mayor de empresas.
Conociendo lo posible máquina de aprendizaje Las preguntas de la entrevista de operación que los gerentes de contratación y los reclutadores podrían plantearle son esenciales si desea trabajar en los campos de ML o MLOps.
Puede aprender cómo responder a algunas de las preguntas de la entrevista de MLOps en esta publicación mientras trabaja para conseguir el trabajo de sus sueños.
1. ¿Qué quiere decir con MLOps?
El tema de la puesta en funcionamiento de los modelos ML es el enfoque de MLOps, también conocido como Machine Learning Operations, un campo en desarrollo dentro del campo más importante de AI/DS/ML.
El objetivo principal del enfoque y la cultura de la ingeniería de software conocido como MLOps es integrar la creación de modelos de ciencia de datos/aprendizaje automático y su posterior puesta en funcionamiento (Ops).
DevOps convencionales y MLOps comparten ciertas similitudes, sin embargo, MLOps también difiere mucho de DevOps tradicionales.
MLOps agrega una nueva capa de complejidad al centrarse en los datos, mientras que DevOps se enfoca principalmente en la puesta en funcionamiento del código y las versiones de software que no pueden tener estado.
La combinación de ML, datos y operaciones es lo que le da a MLOps su nombre común (aprendizaje automático, ingeniería de datos y DevOps).
2. ¿Cómo difieren entre sí los científicos de datos, los ingenieros de datos y los ingenieros de ML?
Varía, en mi opinión, dependiendo de la firma. El entorno para el transporte y la transformación de datos, así como su almacenamiento, lo construyen los ingenieros de datos.
Los científicos de datos son expertos en el uso de técnicas científicas y estadísticas para analizar datos y sacar conclusiones, lo que incluye hacer predicciones sobre el comportamiento futuro en función de las tendencias actuales.
Los ingenieros de software estudiaban las operaciones y administraban la infraestructura de implementación hace algunos años. Los equipos de operaciones, por otro lado, estaban estudiando el desarrollo mientras usaban la infraestructura como código. Estos dos flujos generaron una posición de DevOps.
MLOps está en la misma categoría que Datos Científico e ingeniero de datos. Los ingenieros de datos están adquiriendo conocimientos sobre la infraestructura necesaria para respaldar los ciclos de vida del modelo y crear canalizaciones para la capacitación continua.
Los científicos de datos buscan desarrollar sus capacidades de puntuación e implementación de modelos.
Los ingenieros de ML construyen una canalización de datos de grado de producción que utiliza la infraestructura que transforma los datos sin procesar en la entrada que necesita un modelo de ciencia de datos, aloja y ejecuta el modelo, y genera un conjunto de datos puntuado para los sistemas posteriores.
Tanto los ingenieros de datos como los científicos de datos son capaces de convertirse en ingenieros de ML.
3. ¿Qué distingue a MLOps de ModelOps y AIOps?
Al construir de extremo a extremo algoritmos de aprendizaje automático, MLOps es una aplicación DevOps que incluye recopilación de datos, procesamiento previo de datos, creación de modelos, implementación de modelos en producción, monitoreo de modelos en producción y actualización periódica de modelos.
El uso de DevOps para manejar la implementación completa de cualquier algoritmo, como los modelos basados en reglas, se conoce como ModelOps.
AIOPS está aprovechando los principios de DevOps para crear aplicaciones de IA desde cero.
4. ¿Puede decirme algunos de los beneficios de MLOps?
- Los científicos de datos y los desarrolladores de MLOps pueden volver a ejecutar rápidamente las pruebas para garantizar que los modelos se entrenen y evalúen adecuadamente, ya que MLOps ayuda a automatizar todas o la mayoría de las tareas/pasos en el MDLC (ciclo de vida de desarrollo de modelos). Permisos adicionales versionado de datos y modelos.
- Poner en práctica las ideas de MLOps permite a los ingenieros y científicos de datos tener acceso sin restricciones a conjuntos de datos cultivados y seleccionados, lo que acelera exponencialmente el desarrollo de modelos.
- Los científicos de datos podrán recurrir al modelo que funcionó mejor si la iteración actual no cumple con las expectativas gracias a la capacidad de tener versiones de modelos y conjuntos de datos, lo que mejorará significativamente el registro de auditoría del modelo.
- Dado que los métodos de MLOps se basan en gran medida en DevOps, también incorporan una serie de conceptos de CI/CD, lo que mejora la calidad y confiabilidad del código.
5. ¿Me puede decir los componentes de MLOps?
Diseño: MLOps incluye en gran medida el pensamiento de diseño. Comenzando con la naturaleza del problema, probando hipótesis, arquitectura e implementación
Construcción del modelo: Las pruebas y la validación de modelos son parte de este paso, junto con las canalizaciones de ingeniería de datos y la experimentación para configurar los mejores sistemas de aprendizaje automático.
Operaciones: El modelo debe implementarse como parte de las operaciones y verificarse y evaluarse continuamente. Luego, los procesos de CI/CD se supervisan y se inician mediante una herramienta de orquestación.
6. ¿Qué riesgos conlleva el uso de la ciencia de datos?
- Es difícil escalar el modelo en toda la empresa.
- Sin previo aviso, el modelo se apaga y deja de funcionar.
- En general, la precisión de los modelos empeora con el tiempo.
- El modelo hace predicciones inexactas basadas en una observación específica que no se puede examinar más.
- Los científicos de datos también deberían mantener modelos, pero son costosos.
- MLOps se puede utilizar para reducir estos riesgos.
7. ¿Puede explicar qué es la desviación del modelo?
Cuando el rendimiento de la fase de inferencia de un modelo (usando datos del mundo real) se deteriora con respecto al rendimiento de la fase de entrenamiento, esto se conoce como desviación del modelo, también conocida como desviación de la idea (usando datos históricos etiquetados).
El rendimiento del modelo está sesgado en comparación con las fases de entrenamiento y servicio, de ahí el nombre "sesgo de entrenamiento/servicio".
Numerosos factores, incluyendo:
- La forma fundamental en que se distribuyen los datos ha cambiado.
- La capacitación se centró en una pequeña cantidad de categorías, sin embargo, un cambio ambiental que acaba de ocurrir agregó otra área.
- En las dificultades de PNL, los datos del mundo real tienen una cantidad desproporcionadamente mayor de tokens numéricos que los datos de entrenamiento.
- Acontecimientos inesperados, como un modelo basado en datos previos a la COVID que se predice que tendrá un rendimiento significativamente peor en los datos recopilados durante la epidemia de COVID-19.
Siempre se requiere monitorear continuamente el rendimiento del modelo para identificar la desviación del modelo.
El reentrenamiento del modelo casi siempre se requiere como remedio cuando hay una disminución persistente en el rendimiento del modelo; se debe identificar el motivo de la disminución y se deben utilizar los procedimientos de tratamiento apropiados.
8. ¿De cuántas maneras diferentes se pueden aplicar MLOps, en su opinión?
Hay tres métodos para poner en práctica MLOps:
MLOps nivel 0 (Proceso Manual): En este nivel, todos los pasos, incluidos la preparación, el análisis y la capacitación de datos, se realizan manualmente. Cada etapa debe realizarse manualmente, así como la transición de una a la siguiente.
La premisa subyacente es que su equipo de ciencia de datos solo administra una pequeña cantidad de modelos que no se actualizan con frecuencia.
Como resultado, no hay integración continua (CI) ni implementación continua (CD) y, por lo general, la prueba del código se integra en la ejecución del script o la ejecución del cuaderno, y la implementación se lleva a cabo en un microservicio con un REST API.
MLOps nivel 1 (automatización de la canalización de ML): Al automatizar el proceso ML, el objetivo es entrenar continuamente el modelo (CT). Puede lograr la entrega continua del servicio de predicción de modelos de esta manera.
Nuestra implementación de una canalización de capacitación completa garantiza que el modelo se entrene automáticamente en producción utilizando nuevos datos basados en activadores de canalización activa.
MLOps nivel 2 (automatización de la canalización de CI/CD): Va un paso por encima del nivel de MLOps. Se requiere un sólido sistema de CI/CD automatizado si desea actualizar las canalizaciones en producción de manera rápida y confiable:
- Usted crea código fuente y ejecuta numerosas pruebas a lo largo de la etapa de CI. Los paquetes, los ejecutables y los artefactos son los resultados de la etapa, que se implementarán más adelante.
- Los artefactos creados por la etapa de CI se implementan en el entorno de destino durante el paso de CD. Una canalización desplegada con la implementación del modelo revisado es el resultado de la etapa.
- Antes de que la tubería comience una nueva iteración del experimento, los científicos de datos aún deben realizar la fase de análisis de datos y modelos manualmente.
9. ¿Qué separa la implementación estática de la implementación dinámica?
El modelo se entrena fuera de línea para Despliegue estático. En otras palabras, entrenamos el modelo precisamente una vez y luego lo utilizamos por un tiempo. Una vez que el modelo se ha entrenado localmente, se almacena y se envía al servidor para que se utilice en la producción de predicciones en tiempo real.
Luego, el modelo se distribuye como software de aplicación instalable. un programa que permite la puntuación por lotes de las solicitudes, por ejemplo.
El modelo es entrenado en línea para Despliegue dinámico. Es decir, constantemente se agregan nuevos datos al sistema y el modelo se actualiza continuamente para tenerlo en cuenta.
Como resultado, puede hacer predicciones utilizando un servidor bajo demanda. Después de eso, el modelo se pone en uso al proporcionarse como un punto final de API que reacciona a las consultas de los usuarios, utilizando un marco web como Matraz o FastAPI.
10. ¿Qué técnicas de prueba de producción conoce?
Prueba por lotes: Al realizar pruebas en un entorno diferente al de su entorno de entrenamiento, verifica el modelo. Usando métricas de elección, como precisión, RMSE, etc., la prueba por lotes se realiza en un grupo de muestras de datos para verificar la inferencia del modelo.
Las pruebas por lotes se pueden realizar en una variedad de plataformas informáticas, como un servidor de prueba, un servidor remoto o la nube. Normalmente, el modelo se proporciona como un archivo serializado, que se carga como un objeto y se deduce de los datos de prueba.
pruebas A/B: Se utiliza frecuentemente para el análisis de campañas de marketing así como para el diseño de servicios (sitios web, aplicaciones móviles, etc.).
Según la empresa o las operaciones, se utilizan enfoques estadísticos para analizar los resultados de las pruebas A/B para decidir qué modelo funcionará mejor en producción. Por lo general, las pruebas A/B se realizan de la siguiente manera:
- Los datos en vivo o en tiempo real se dividen o segmentan en dos conjuntos, Conjunto A y Conjunto B.
- Los datos del conjunto A se envían al modelo obsoleto, mientras que los datos del conjunto B se envían al modelo actualizado.
- Según el caso de uso comercial o los procesos, se pueden usar varios enfoques estadísticos para evaluar el rendimiento del modelo (por ejemplo, exactitud, precisión, etc.) para determinar si el nuevo modelo (modelo B) supera al modelo anterior (modelo A).
- Luego hacemos pruebas de hipótesis estadísticas: la hipótesis nula dice que el nuevo modelo no tiene efecto en el valor promedio de los indicadores comerciales que se monitorean. De acuerdo con la hipótesis alternativa, el nuevo modelo aumenta el valor promedio de los indicadores de seguimiento del negocio.
- Finalmente, evaluamos si el nuevo modelo supone una mejora significativa en determinados KPIs de negocio.
Una prueba de sombra o escenario: un modelo se evalúa en un duplicado de un entorno de producción antes de ser utilizado en producción (entorno de ensayo).
Esto es crucial para determinar el rendimiento del modelo con datos en tiempo real y validar la resiliencia del modelo. se lleva a cabo infiriendo los mismos datos que la canalización de producción y entregando la rama desarrollada o un modelo para que se pruebe en un servidor de prueba.
El único inconveniente es que no se realizarán elecciones comerciales en el servidor de ensayo ni serán visibles para los usuarios finales como resultado de la rama de desarrollo.
La resiliencia y el rendimiento del modelo se evaluarán estadísticamente utilizando los resultados del entorno de prueba utilizando las métricas adecuadas.
11. ¿Qué distingue al procesamiento continuo del procesamiento por lotes?
Podemos manipular las características que utilizamos para producir nuestros pronósticos en tiempo real utilizando dos métodos de procesamiento: lote y flujo.
Proceso por lotes características de un punto anterior en el tiempo para un objeto específico, que luego se utiliza para generar predicciones en tiempo real.
- Aquí, podemos hacer cálculos intensivos de características fuera de línea y tener los datos preparados para una inferencia rápida.
- Las características, sin embargo, tienen una edad ya que estaban predeterminadas en el pasado. Esto podría ser un gran inconveniente si su pronóstico se basa en hechos recientes. (Por ejemplo, identificar transacciones fraudulentas tan pronto como sea posible).
Con funciones de transmisión casi en tiempo real para una entidad específica, la inferencia se lleva a cabo en el procesamiento de transmisión en un conjunto determinado de entradas.
- Aquí, al proporcionar al modelo funciones de transmisión en tiempo real, podemos obtener predicciones más precisas.
- Sin embargo, se requiere infraestructura adicional para el procesamiento de flujos y para mantener los flujos de datos (Kafka, Kinesis, etc.). (Apache Flink, Beam, etc.)
12. ¿A qué se refiere con entrenamiento de sesgo de servicio?
La disparidad entre el rendimiento al sacar y el rendimiento durante el entrenamiento se conoce como sesgo entre entrenamiento y servicio. Este sesgo puede ser inducido por los siguientes factores:
- Una diferencia en la forma en que maneja los datos entre las canalizaciones para servir y entrenar.
- Un cambio en los datos de su formación a su servicio.
- Un canal de retroalimentación entre su algoritmo y modelo.
13. ¿Qué entiende por Registro Modelo?
Model Registry es un repositorio central donde los creadores de modelos pueden publicar modelos que son adecuados para su uso en producción.
Los desarrolladores pueden colaborar con otros equipos y partes interesadas para gestionar la vida útil de todos los modelos dentro de la empresa mediante el registro. Un científico de datos puede cargar los modelos entrenados en el registro de modelos.
Los modelos se preparan para pruebas, validación y despliegue a producción una vez que están en el registro. Además, los modelos entrenados se almacenan en registros de modelos para un acceso rápido por parte de cualquier aplicación o servicio integrado.
Para probar, evaluar e implementar el modelo en producción, desarrolladores de software y los revisores pueden reconocer y elegir rápidamente la mejor versión de los modelos entrenados (según los criterios de evaluación).
14. ¿Puede dar más detalles sobre los beneficios del Registro Modelo?
Las siguientes son algunas formas en que el registro de modelos agiliza la gestión del ciclo de vida del modelo:
- Para facilitar la implementación, guarde los requisitos de tiempo de ejecución y los metadatos de sus modelos entrenados.
- Sus modelos capacitados, implementados y retirados deben registrarse, rastrearse y versionarse en un repositorio centralizado con capacidad de búsqueda.
- Cree canalizaciones automatizadas que permitan la entrega, capacitación e integración continuas de su modelo de producción.
- Compare los modelos recién entrenados (o modelos desafiantes) en el entorno de prueba con los modelos que están operando actualmente en producción (modelos campeones).
15. ¿Puedes explicar cómo funciona la técnica Champion-Challenger?
Es posible probar varias decisiones operativas en producción utilizando una técnica Champion Challenger. Probablemente haya oído hablar de las pruebas A/B en el contexto del marketing.
Por ejemplo, puede escribir dos líneas de asunto distintas y distribuirlas al azar a su grupo demográfico objetivo para maximizar la tasa de apertura de una campaña de correo electrónico.
El sistema registra el rendimiento de un correo electrónico (es decir, la acción de apertura del correo electrónico) en relación con su línea de asunto, lo que le permite comparar la tasa de apertura de cada línea de asunto para determinar cuál es la más efectiva.
Champion-Challenger es comparable a las pruebas A/B en este sentido. Puede usar la lógica de decisión para evaluar cada resultado y seleccionar el más efectivo mientras experimenta con varios métodos para llegar a una elección.
El modelo más exitoso se correlaciona con el campeón. El primer retador y la lista correspondiente de retadores ahora son todo lo que está presente en la primera fase de ejecución en lugar del campeón.
El campeón es elegido por el sistema para futuras ejecuciones de pasos de trabajo.
Los retadores se contrastan entre sí. Luego, el nuevo campeón lo determina el retador que produce los mejores resultados.
Las tareas involucradas en el proceso de comparación campeón-retador se enumeran a continuación con más detalle:
- Evaluando cada uno de los modelos rivales.
- Evaluación de las puntuaciones finales.
- Comparar los resultados de la evaluación para establecer el retador victorioso.
- Agregando el nuevo campeón al archivo
16. Describa las aplicaciones de nivel empresarial del ciclo de vida de MLOps.
Necesitamos dejar de considerar el aprendizaje automático como solo un experimento iterativo para que los modelos de aprendizaje automático entren en producción. MLOps es la unión de la ingeniería de software con el aprendizaje automático.
El resultado final debe imaginarse como tal. Por lo tanto, el código de un producto tecnológico tiene que ser probado, funcional y modular.
MLOps tiene una vida útil comparable a un flujo de aprendizaje automático convencional, con la excepción de que el modelo se mantiene en el proceso hasta la producción.
Los ingenieros de MLOps vigilan esto para asegurarse de que la calidad del modelo en producción sea la deseada.
Estos son algunos casos de uso para varias de las tecnologías MLOps:
- Registros Modelo: Es lo que parece ser. Los equipos más grandes almacenan y mantienen un seguimiento de los modelos de versiones en registros de modelos. Incluso volver a una versión anterior es una opción.
- Tienda de características: cuando se trata de conjuntos de datos más grandes, podría haber distintas versiones de los conjuntos y subconjuntos de datos analíticos para tareas específicas. Un almacén de características es una forma innovadora y de buen gusto de usar el trabajo de preparación de datos de ejecuciones anteriores o también de otros equipos.
- Almacenes de metadatos: es crucial monitorear los metadatos correctamente durante la producción si se van a utilizar con éxito los datos no estructurados, como los datos de imágenes y texto.
Conclusión
Es fundamental tener en cuenta que, en la mayoría de los casos, el entrevistador busca un sistema, mientras que el candidato busca una solución.
El primero se basa en sus habilidades técnicas, mientras que el segundo tiene que ver con el método que emplea para demostrar su competencia.
Hay varios procedimientos que debe seguir al responder a las preguntas de la entrevista de MLOps para ayudar al entrevistador a comprender mejor cómo pretende evaluar y abordar el problema en cuestión.
Su concentración está más en la reacción incorrecta que en la correcta. Una solución cuenta una historia, y su sistema es la mejor ilustración de su conocimiento y capacidad de comunicación.
Deje un comentario