{"id":26579,"date":"2021-08-16T17:48:43","date_gmt":"2021-08-16T17:48:43","guid":{"rendered":"https:\/\/building.nu.com\/machine-learning-model-monitoring-9-tips-from-the-trenches\/"},"modified":"2024-02-27T13:01:31","modified_gmt":"2024-02-27T13:01:31","slug":"monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras","status":"publish","type":"post","link":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/","title":{"rendered":"Monitoreo de Modelos de Aprendizaje Autom\u00e1tico: 9 Consejos Desde las Trincheras"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\"><em>Esta publicaci\u00f3n fue revisada por:&nbsp;Luis Moneda, Gabriela Mourao y Cristiano Breuel.<\/em><\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Los modelos de aprendizaje autom\u00e1tico<\/strong>&nbsp;(ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Esto es especialmente cierto cuando las decisiones&nbsp;<strong>comerciales<\/strong>&nbsp;<strong>se toman autom\u00e1ticamente<\/strong>&nbsp;utilizando los resultados de dichos modelos. Esto significa que los modelos defectuosos muy a menudo tendr\u00e1n un impacto real en la experiencia del cliente final.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Los modelos son tan buenos como los datos que consumen, por lo que monitorear los datos de entrada (y los resultados) es&nbsp;<strong>cr\u00edtico<\/strong>&nbsp;para que el modelo cumpla su objetivo real: ser \u00fatil&nbsp;<strong>para impulsar buenas decisiones y ayudar a la empresa a alcanzar sus objetivos.<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A continuaci\u00f3n se incluyen&nbsp;<strong>un par de consejos pr\u00e1cticos e independientes del marco&nbsp;<\/strong>que puedes utilizar para tener una estrategia de monitoreo m\u00e1s s\u00f3lida al utilizar modelos de aprendizaje autom\u00e1tico en producci\u00f3n.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">(Muchos consejos se superponen entre s\u00ed; esto se debe a que se supone que deben usarse como parte de una estrategia integrada, no como soluciones \u00fanicas)<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Los promedios no cuentan la historia completa<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto&nbsp;<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Tu monitoreas los valores promedio de las caracter\u00edsticas num\u00e9ricas en los modelos que utilizas. Haces esto porque deseas detectar problemas de datos, comprender cu\u00e1ndo y si las distribuciones de caracter\u00edsticas y etiquetas cambian, etc.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">El monitoreo del valor promedio no te cuenta la historia completa porque implica un par de suposiciones que no necesariamente coinciden con la realidad. Por ejemplo:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Si faltan datos, la mayor\u00eda de las herramientas num\u00e9ricas los&nbsp;<strong>ignoran<\/strong>&nbsp;y calculan promedios para los datos restantes (no nulos);<\/li>\n\n\n\n<li>Se supone que los problemas de datos ser\u00e1n lo&nbsp;<strong>suficientemente grandes<\/strong>&nbsp;como para mover significativamente el valor promedio. Alternativamente, tambi\u00e9n puede darse el caso de que los cambios en las caracter\u00edsticas muevan mucho los promedios pero no afecten a los percentiles m\u00e1s altos, que es a menudo donde se toman las decisiones sobre el modelo.<\/li>\n\n\n\n<li>Se supone que los cambios en las puntuaciones del modelo tienen una&nbsp;<strong>relaci\u00f3n lineal<\/strong>&nbsp;con las acciones basadas en ellas.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">En resumen, puede haber un problema que afecte tus datos de&nbsp;<strong>manera grave<\/strong>, pero es posible que los valores promedio de las funciones no se muevan en absoluto, por lo que debes incluir otros \u00e1ngulos adem\u00e1s de este.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias&nbsp;<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Monitorea los&nbsp;<strong>percentiles<\/strong>&nbsp;de valores de caracter\u00edsticas num\u00e9ricas, p. Percentiles 99, 95, 90 y 10, 5, 1 tambi\u00e9n. De esta manera puedes detectar casos en los que los ejemplos de cola cambian incluso cuando el valor promedio de la caracter\u00edstica no cambi\u00f3. Esto es especialmente \u00fatil en casos en los que la distribuci\u00f3n de datos est\u00e1&nbsp;<strong>sesgada o desequilibrada.<\/strong><\/li>\n\n\n\n<li>Monitorea&nbsp;<strong>la tasa de valores faltantes<\/strong>&nbsp;para todas las funciones. Esto debe monitorearse por separado porque un gran porcentaje de valores faltantes es un gran problema, incluso cuando la media de los valores no perdidos no ha cambiado mucho.<\/li>\n\n\n\n<li>Divide el seguimiento en&nbsp;<strong>subpoblaciones<\/strong>&nbsp;para detectar problemas que solo afecten a un subconjunto del total de ejemplos puntuados.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Las Capas de Pol\u00edticas\/Decisiones requieren monitoreo adicional<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">El modelo se utiliza para tomar decisiones (denegar\/aprobar pr\u00e9stamos, mostrar\/no mostrar un anuncio, etc.) utilizando alg\u00fan tipo de&nbsp;<em>pol\u00edtica<\/em>.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Tu monitoreas los modelos desde una perspectiva t\u00e9cnica (valores de caracter\u00edsticas, precisi\u00f3n, exactitud, etc.) pero no es obvio qu\u00e9 decisiones se toman a partir de eso (esta es la capa de pol\u00edtica\/decisi\u00f3n).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">No basta con monitorear los modelos desde una perspectiva t\u00e9cnica porque esto no deja claro a otras partes interesadas c\u00f3mo se est\u00e1 viendo afectado el&nbsp;<strong>negocio<\/strong>.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Tambi\u00e9n debes monitorear las decisiones tomadas utilizando el modelo para asegurarte de que el modelo entregue el valor comercial esperado.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Monitorear las&nbsp;<strong>decisiones&nbsp;<\/strong>tomadas utilizando el modelo<strong>.&nbsp;<\/strong>Por ejemplo: \u00bfcu\u00e1ntas personas obtuvieron pr\u00e9stamos aprobados por el modelo de riesgo cada d\u00eda? \u00bfA cu\u00e1ntas personas se les bloquearon las cuentas mediante el modelo de fraude cada d\u00eda? A menudo es \u00fatil monitorear tanto los valores&nbsp;<strong>absolutos&nbsp;<\/strong>como los&nbsp;<strong>relativos<\/strong>.<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Ten cuidado al ajustar el&nbsp;<strong>nivel de granularidad<\/strong>&nbsp;seg\u00fan el p\u00fablico objetivo: si tu modelo califica a un cliente determinado varias veces, tu p\u00fablico objetivo puede estar m\u00e1s interesado en las m\u00e9tricas agregadas por los clientes que en las entidades individuales calificadas.<\/li>\n\n\n\n<li>Si est\u00e1s ejecutando un&nbsp;<strong>modelo en tiempo real,<\/strong>&nbsp;\u00bfcu\u00e1ntas decisiones equivocadas se tomaron debido a discrepancias en el sesgo de entrenamiento\/servicio? Tambi\u00e9n deber\u00edas controlar esto.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Divide el monitoreo en subpoblaciones para obtener mejores conocimientos<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">T\u00fa eres responsable de mantener los modelos de aprendizaje autom\u00e1tico m\u00e1s utilizados que se emplean para calificar muchos ejemplos individuales diariamente.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">T\u00fa monitoreas caracter\u00edsticas\/puntuaciones a trav\u00e9s de paneles y hay varios patrones \u00abinteresantes\u00bb que deseas investigar, pero generalmente lleva mucho tiempo rastrear las razones de estos problemas.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Una forma de facilitar la comprensi\u00f3n de los datos y\/o los problemas del modelo es&nbsp;<strong>dividir los datos de monitoreo en subpoblaciones<\/strong>&nbsp;(subconjuntos de datos que el modelo califica) y monitorearlos por separado.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La raz\u00f3n de esto es que muchos problemas de datos tienen un<strong>&nbsp;impacto&nbsp;<\/strong>cr\u00edtico en algunos subconjuntos de ejemplos, pero pueden&nbsp;<strong>\u201cdesaparecer\u201d<\/strong>&nbsp;porque su impacto absoluto no es suficiente para sentirse cuando se observan los valores agregados en todo el conjunto de datos.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>En lugar de observar valores agregados de caracter\u00edsticas\/puntuaciones para conjuntos de datos completos,&nbsp;<strong>div\u00eddelos en subpoblaciones<\/strong>&nbsp;y monitorealas.\n<ul class=\"wp-block-list\">\n<li>Por ejemplo: si tienes un modelo de fraude, puede que valga la pena dividir el monitoreo por el tipo de dispositivo (web, m\u00f3vil, etc.) utilizado en cada ejemplo puntuado.<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Tambi\u00e9n supervisa los&nbsp;<strong>recuentos&nbsp;<\/strong>brutos de poblaciones separadas (cu\u00e1ntos ejemplos de cada una se calificaron cada d\u00eda, cu\u00e1l fue el porcentaje, etc.)<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">La codificaci\u00f3n de funciones adecuada facilita el seguimiento<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Las caracter\u00edsticas utilizadas en los modelos a menudo se preprocesan o codifican para permitir su uso en algunos clasificadores.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A veces, esto es un problema porque es dif\u00edcil monitorear visualmente o mediante programaci\u00f3n, caracter\u00edsticas complejas y cuidadosamente dise\u00f1adas que no son inmediatamente obvias a primera vista.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Al codificar (o decodificar) las funciones con cuidado, puedes facilitar el seguimiento. Esto se debe a que la mayor\u00eda de los marcos de seguimiento son m\u00e1s adecuados para valores num\u00e9ricos y valores categ\u00f3ricos. Si utilizas diferentes tipos de funciones (por ejemplo, incrustaciones de palabras, coordenadas de geolocalizaci\u00f3n), es posible que desees decodificarlas (por ejemplo, en cadenas y nombres de ciudades, respectivamente) para poder analizarlas m\u00e1s f\u00e1cilmente en informes y gr\u00e1ficos.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Adem\u00e1s, probablemente quieras monitorear los valores&nbsp;<strong>originales&nbsp;<\/strong>(no preprocesados, no codificados), porque esto facilita la comunicaci\u00f3n con otros equipos y la&nbsp;<strong>soluci\u00f3n de problemas&nbsp;<\/strong>cuando surgen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Monitorea los&nbsp;<strong>valores de entrada&nbsp;<\/strong>(es decir, no necesariamente las funciones en s\u00ed, sino la informaci\u00f3n utilizada para crear funciones)&nbsp;<strong>adem\u00e1s de<\/strong>&nbsp;las funciones en s\u00ed. Esto es \u00fatil cuando les aplicas varias transformaciones num\u00e9ricas.<\/li>\n\n\n\n<li>Siempre que sea posible, codifica los valores de&nbsp;<strong>caracter\u00edsticas booleanas<\/strong>&nbsp;como&nbsp;<strong>flotantes<\/strong>&nbsp;(1.0, 0.0 y nulo), para que sea m\u00e1s f\u00e1cil monitorearlos como una variable num\u00e9rica normal (extraer medias y otras propiedades num\u00e9ricas, etc.) y reutilizar todas las herramientas (por ejemplo, gr\u00e1ficos) creadas para esos .<\/li>\n\n\n\n<li>Para las&nbsp;<strong>funciones categ\u00f3ricas<\/strong>&nbsp;codificadas con estrategias como la codificaci\u00f3n one-hot o la codificaci\u00f3n de destino, probablemente quieras&nbsp;<strong>volver a decodificarlas<\/strong>&nbsp;a sus valores originales para poder monitorear las clases reales, no las categor\u00edas codificadas.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">La consistencia reduce la carga mental del monitoreo<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">T\u00fa eres responsable de mantener\/operar uno o m\u00e1s modelos de aprendizaje autom\u00e1tico, cada uno de los cuales tiene varias caracter\u00edsticas, se utiliza de distintas maneras, etc.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se est\u00e1n generando varios paneles e informes, pero el gran esfuerzo requerido para revisarlos es demasiado alto y lleva mucho tiempo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Es posible reducir la&nbsp;<strong>carga cognitiva<\/strong>&nbsp;y el&nbsp;<strong>tiempo&nbsp;<\/strong>necesario para revisar paneles e informes de seguimiento.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Una forma de hacerlo es promover la&nbsp;<strong>consistencia<\/strong>&nbsp;y la&nbsp;<strong>estandarizaci\u00f3n<\/strong>, de modo que los costos de cambio de contexto se minimicen y su equipo pueda ser m\u00e1s eficiente y efectivo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Utiliza una&nbsp;<strong>\u00fanica herramienta&nbsp;<\/strong>para monitorear todo; si es posible, usa una \u00fanica herramienta\/proveedor para monitorear todos los modelos. Esto facilita compartir patrones de configuraci\u00f3n y uso entre varios modelos.<\/li>\n\n\n\n<li><strong>Ordena las cosas<\/strong>&nbsp;de manera consistente. Por ejemplo: ordena los gr\u00e1ficos de caracter\u00edsticas seg\u00fan la importancia de la caracter\u00edstica para que puedas ver r\u00e1pidamente si hay problemas graves que necesitas investigar (o simplemente ordenarlos alfab\u00e9ticamente)<\/li>\n\n\n\n<li><strong>Nombra las cosas<\/strong>&nbsp;consistentemente: si necesitas nombrar cosas como archivos, conjuntos de datos, paneles, tablas, etc., aseg\u00farate de seguir alg\u00fan tipo de patr\u00f3n (como&nbsp;&lt;nombre-equipo&gt;-&lt;nombre-modelo&gt;-&lt;fecha&gt;) para que sea m\u00e1s f\u00e1cil automatizar y configurar para todo el equipo.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Monitorea trabajos\/rutinas de monitoreo en s\u00ed (meta-monitoreo)<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Utiliza rutinas auxiliares, trabajos por lotes o scripts ad hoc para procesar los datos de registro del modelo. Estas rutinas se utilizan para analizar las caracter\u00edsticas y puntuaciones del modelo y generar valores agregados. Tambi\u00e9n utiliza estas herramientas para generar&nbsp;<strong>alertas<\/strong>&nbsp;bajo determinadas condiciones.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Los trabajos por lotes\/rutinas de monitoreo de modelos son solo otra pieza de software y, por lo general,&nbsp;<strong>dejan de funcionar de vez en cuando<\/strong>&nbsp;(alguien cambi\u00f3 el nombre de una tabla y el script se rompe, sus credenciales expiraron, etc.).&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Si cuentas con trabajos\/rutinas\/scripts de monitoreo para ejecutarse y se\u00f1alar condiciones problem\u00e1ticas, la&nbsp;<strong>ausencia de alertas<\/strong>&nbsp;puede llevarte a pensar que todo est\u00e1 bien cuando en realidad los trabajos de monitoreo simplemente no se ejecutaron o hubo alg\u00fan problema con ellos.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Debes&nbsp;<strong>monitorear los propios trabajos de monitoreo<\/strong>&nbsp;para protegerte contra esto (metasupervisi\u00f3n).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Monitorea los&nbsp;<strong>tiempos de ejecuci\u00f3n<\/strong>&nbsp;del trabajo. Los tiempos de ejecuci\u00f3n en constante aumento pueden indicar que pronto tendr\u00e1s que cambiar de estrategia. Los tiempos de ejecuci\u00f3n demasiado cortos pueden indicar que hubo alg\u00fan otro problema en el trabajo.<\/li>\n\n\n\n<li>Utiliza&nbsp;<strong>alertas de estilo latido.&nbsp;<\/strong>Puedes agregar un paso al final de cada trabajo\/script para enviar un&nbsp;<strong>ping<\/strong>&nbsp;a alg\u00fan otro sistema. Las alertas de latido se activan cuando algo&nbsp;<strong>no&nbsp;<\/strong>ha sucedido, por ejemplo, si el backend no ha recibido un ping durante m\u00e1s de 24 horas.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Patrones para el seguimiento de lotes<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Tienes trabajos por lotes que analizan los datos de registro del modelo y calculan los agregados de ellos (valor promedio de las caracter\u00edsticas cada d\u00eda, puntajes promedio, etc.), pero&nbsp;<strong>alguien necesita ver los datos<\/strong>&nbsp;para ver si todo est\u00e1 bien.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Es f\u00e1cil crear informes de seguimiento que&nbsp;<strong>se ignoran<\/strong>&nbsp;porque nadie ha tenido tiempo de ir activamente al panel\/cuadernos y ver los resultados. A continuaci\u00f3n se muestran algunas formas de hacerlos m\u00e1s \u00fatiles y eficientes.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Haz que los trabajos&nbsp;<strong>env\u00eden<\/strong><strong>act\u00edvamente&nbsp;<\/strong>los resultados (gr\u00e1ficos, tablas, etc.) como un&nbsp;<strong>mensaje<\/strong>&nbsp;a tu correo electr\u00f3nico o canal de Slack al final de cada ejecuci\u00f3n. En el cuerpo del mensaje, incluye solo la informaci\u00f3n m\u00e1s importante.\n<ul class=\"wp-block-list\">\n<li>La idea aqu\u00ed es tener suficiente informaci\u00f3n para que puedas ver&nbsp;<em>r\u00e1pidamente<\/em>&nbsp;si hay alg\u00fan problema.<\/li>\n\n\n\n<li>En el cuerpo del mensaje, agrega un&nbsp;<strong>enlace<\/strong>&nbsp;al panel completo o a los datos del informe para que las personas puedan verlo completo si lo necesitan.<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Escribe c\u00f3digo que pueda&nbsp;<strong>manejar datos hist\u00f3ricos de forma predeterminada<\/strong>: esto facilita la reutilizaci\u00f3n del c\u00f3digo tanto para el an\u00e1lisis hist\u00f3rico como para el monitoreo incremental (por ejemplo, diario).<\/li>\n\n\n\n<li>Utiliza&nbsp;<strong>lenguaje empresarial&nbsp;<\/strong>siempre que sea posible para que todas las partes interesadas (no solo los t\u00e9cnicos) puedan comprender el impacto de los modelos en las decisiones empresariales.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">S\u00f3lo modelos en tiempo real: Monitoreo de Sesgo de Entrenamiento\/Entrega<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Los modelos utilizados para hacer inferencias en tiempo real generalmente se entrenan a partir de datos hist\u00f3ricos recuperados de una base de datos, por lotes.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Esto crea el riesgo de que la ruta de datos utilizada para el entrenamiento no coincida exactamente con la ruta de datos utilizada para la inferencia (normalmente llamadas HTTP a servicios externos para obtener funciones). Esto se llama&nbsp;<strong>sesgo de entrenamiento\/entrega.<\/strong><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Sesgo de entrenamiento\/entrega es un riesgo importante que debes considerar al implementar&nbsp;<strong>modelos en tiempo real.<\/strong>. Esto debe ser monitoreado continuamente, mientras el modelo est\u00e9 en uso.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Las causas m\u00e1s comunes de discrepancias aqu\u00ed son cambios en los servicios externos de los que depende el modelo para recuperar datos de caracter\u00edsticas en tiempo real.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Monitorea la tasa de&nbsp;<strong>coincidencias exactas<\/strong>&nbsp;entre flujos por lotes\/en tiempo real (es decir, puede tener un 1 si hubo una coincidencia exacta entre ambos flujos y 0 si no hubo una coincidencia exacta) y monitorea&nbsp;<em>este<\/em>&nbsp;del mismo modo que monitoreas otras funciones. De esta manera puedes ver cu\u00e1nto sesgo tienes por caracter\u00edstica.<\/li>\n\n\n\n<li>Monitorea la&nbsp;<strong>magnitud<\/strong>&nbsp;de las desviaciones: en los casos en los que hubo una discrepancia entre las rutas de datos por lotes y en tiempo real, \u00bfqu\u00e9 tan grave fue? \u00bfFue s\u00f3lo una peque\u00f1a diferencia o una gran diferencia?<\/li>\n\n\n\n<li><strong>Monitorea tambi\u00e9n los recuentos<\/strong>: monitorea cu\u00e1ntos ejemplos hab\u00eda en cada ruta de datos para un d\u00eda determinado. Esto es importante porque los cambios desconocidos pueden hacer que los modelos en tiempo real califiquen m\u00e1s ejemplos de los que esperaba.&nbsp;<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">S\u00f3lo modelos en tiempo real: Patrones de alerta<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Ahora tenemos una publicaci\u00f3n dedicada a este tema:&nbsp;<\/em><a href=\"https:\/\/building.nu.com\/best-practices-for-real-time-machine-learning-alerting\/\"><em>Mejores Pr\u00e1cticas para el Aprendizaje Autom\u00e1tico en tiempo Real: Alertas<\/em><\/a><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Contexto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Has creado algunas alertas en tiempo real (correos electr\u00f3nicos, mensajes flojos, notificaciones push m\u00f3viles, etc.) para avisarte cuando el modelo se comporta de manera inesperada, como valores de caracter\u00edsticas extra\u00f1os, caracter\u00edsticas faltantes, puntuaciones demasiado altas o demasiado bajas, etc.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Afirmaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Es bastante f\u00e1cil terminar con alertas que son&nbsp;<strong>demasiado<\/strong>&nbsp;<strong>ruidosas<\/strong>&nbsp;(se activan muy a menudo y la gente ya no las toma en serio) o&nbsp;<strong>nada sensibles <\/strong>(nunca se activan, incluso cuando deber\u00edan).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Debes intentar que las alertas sean relevantes y f\u00e1ciles de actuar (incluye suficiente informaci\u00f3n para que las personas puedan saber r\u00e1pidamente si la alerta indica un problema real).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sugerencias<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Ten cuidado con los&nbsp;<strong>per\u00edodos de tiempo extra\u00f1os<\/strong>, como temprano en la ma\u00f1ana, los fines de semana, etc. Dado que estos son momentos en los que puede obtener muchos menos ejemplos calificados por los modelos, las alertas pueden activarse por la sencilla raz\u00f3n de que el tama\u00f1o de tu muestra es demasiado peque\u00f1o.<\/li>\n\n\n\n<li>Incluye siempre el&nbsp;<strong>per\u00edodo de tiempo&nbsp;<\/strong>y&nbsp;<strong>los puntos de datos espec\u00edficos<\/strong>&nbsp;utilizados para la alerta para permitir que las personas eval\u00faen si se trata de un falso positivo o no:&nbsp;<strong>Mal<\/strong>: \u201cLa caracter\u00edstica X en el modelo Y es demasiado alta\u201d.&nbsp;<strong>Bien:&nbsp;<\/strong>\u201cEl valor promedio de la Caracter\u00edstica X en el modelo Y durante los \u00faltimos 15 minutos fue demasiado alto (se esperaba entre 0.4 y 0.5, pero en su lugar obtuvo 100.0)\u201d.<\/li>\n\n\n\n<li>Si es posible, incluye un&nbsp;<strong>enlace al panel completo<\/strong>&nbsp;o alg\u00fan lugar donde puedas ver datos m\u00e1s completos y decidir si debes investigarlos m\u00e1s a fondo.<\/li>\n\n\n\n<li>Si es posible, ten a mano alg\u00fan tipo de&nbsp;<strong>gu\u00eda de soluci\u00f3n de problemas<\/strong>&nbsp;para que los nuevos miembros del equipo puedan actuar f\u00e1cilmente ante las alertas.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Conclusi\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Estos son un par de consejos que consideramos \u00fatiles para monitorear varios modelos de ML aqu\u00ed en Nubank.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se utilizan en una variedad de contextos comerciales (cr\u00e9dito, fraude, CX, operaciones, etc.) y creemos que son lo suficientemente generales como para ser aplicables tambi\u00e9n en otras empresas.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Los modelos de aprendizaje autom\u00e1tico (ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.<\/p>\n","protected":false},"author":178110136,"featured_media":23849,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_wpcom_ai_launchpad_first_post":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_post_was_ever_published":false},"categories":[2509,2508],"tags":[2543,2575,2574,2500],"class_list":["post-26579","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-analytics-es","category-data-science-machine-learning-es","tag-machine-learning-es","tag-model-monitoring-es","tag-observability-es","tag-software-engineering-es"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.5 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>9 Tips for Machine Learning Model Monitoring - Building Nubank<\/title>\n<meta name=\"description\" content=\"Los modelos de aprendizaje autom\u00e1tico (ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/\" \/>\n<meta property=\"og:locale\" content=\"es_ES\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"9 Tips for Machine Learning Model Monitoring - Building Nubank\" \/>\n<meta property=\"og:description\" content=\"Los modelos de aprendizaje autom\u00e1tico (ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/\" \/>\n<meta property=\"og:site_name\" content=\"Building Nubank\" \/>\n<meta property=\"article:published_time\" content=\"2021-08-16T17:48:43+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-02-27T13:01:31+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/i0.wp.com\/building.nu.com\/wp-content\/uploads\/2021\/08\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1\" \/>\n\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t<meta property=\"og:image:height\" content=\"675\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Felipe Almeida - Machine Learning Engineer\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@queirozfcom\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Felipe Almeida - Machine Learning Engineer\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tiempo de lectura\" \/>\n\t<meta name=\"twitter:data2\" content=\"14 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/\"},\"author\":{\"name\":\"Felipe Almeida - Machine Learning Engineer\",\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/#\\\/schema\\\/person\\\/2bce0340e6a654811bb0aea0e58092c5\"},\"headline\":\"Monitoreo de Modelos de Aprendizaje Autom\u00e1tico: 9 Consejos Desde las Trincheras\",\"datePublished\":\"2021-08-16T17:48:43+00:00\",\"dateModified\":\"2024-02-27T13:01:31+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/\"},\"wordCount\":2856,\"commentCount\":0,\"image\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/i0.wp.com\\\/building.nu.com\\\/wp-content\\\/uploads\\\/2021\\\/08\\\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1\",\"keywords\":[\"machine learning\",\"Model Monitoring\",\"observability\",\"Software engineering\"],\"articleSection\":[\"Data &amp; Analytics\",\"Data Science &amp; Machine Learning\"],\"inLanguage\":\"es\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/\",\"url\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/\",\"name\":\"9 Tips for Machine Learning Model Monitoring - Building Nubank\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/i0.wp.com\\\/building.nu.com\\\/wp-content\\\/uploads\\\/2021\\\/08\\\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1\",\"datePublished\":\"2021-08-16T17:48:43+00:00\",\"dateModified\":\"2024-02-27T13:01:31+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/#\\\/schema\\\/person\\\/2bce0340e6a654811bb0aea0e58092c5\"},\"description\":\"Los modelos de aprendizaje autom\u00e1tico (ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#breadcrumb\"},\"inLanguage\":\"es\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#primaryimage\",\"url\":\"https:\\\/\\\/i0.wp.com\\\/building.nu.com\\\/wp-content\\\/uploads\\\/2021\\\/08\\\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1\",\"contentUrl\":\"https:\\\/\\\/i0.wp.com\\\/building.nu.com\\\/wp-content\\\/uploads\\\/2021\\\/08\\\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1\",\"width\":1200,\"height\":675},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/building.nu.com\\\/es\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Monitoreo de Modelos de Aprendizaje Autom\u00e1tico: 9 Consejos Desde las Trincheras\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/#website\",\"url\":\"https:\\\/\\\/building.nu.com\\\/es\\\/\",\"name\":\"Building Nubank\",\"description\":\"We make the extraordinary happen\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/building.nu.com\\\/es\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"es\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/building.nu.com\\\/es\\\/#\\\/schema\\\/person\\\/2bce0340e6a654811bb0aea0e58092c5\",\"name\":\"Felipe Almeida - Machine Learning Engineer\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\\\/\\\/building.nubank.com.br\\\/wp-content\\\/uploads\\\/2023\\\/10\\\/avatar_user_178110136_1697720449-96x96.jpg\",\"url\":\"https:\\\/\\\/building.nubank.com.br\\\/wp-content\\\/uploads\\\/2023\\\/10\\\/avatar_user_178110136_1697720449-96x96.jpg\",\"contentUrl\":\"https:\\\/\\\/building.nubank.com.br\\\/wp-content\\\/uploads\\\/2023\\\/10\\\/avatar_user_178110136_1697720449-96x96.jpg\",\"caption\":\"Felipe Almeida - Machine Learning Engineer\"},\"description\":\"Felipe Almeida is responsible for engineering and managing Data Science &amp; Machine Learning projects at Nubank. He has a Bachelor's degree in Computer Science and a Master's degree in Computer Engineering, both from UFRJ. Felipe has experience working with e-commerce, credit and fraud. Before joining Nubank in 2019, he worked in companies such as Ita\u00fa-Unibanco and VTEX. In his spare time, he likes to exercise and learn foreign languages. He is active on twitter and he blogs at https:\\\/\\\/queirozf.com\",\"sameAs\":[\"http:\\\/\\\/queirozf.com\\\/\",\"https:\\\/\\\/www.linkedin.com\\\/in\\\/felipeqbalmeida\",\"https:\\\/\\\/x.com\\\/queirozfcom\"],\"url\":\"https:\\\/\\\/building.nu.com\\\/es\\\/author\\\/felipe-almeida-data-scientist\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"9 Tips for Machine Learning Model Monitoring - Building Nubank","description":"Los modelos de aprendizaje autom\u00e1tico (ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/","og_locale":"es_ES","og_type":"article","og_title":"9 Tips for Machine Learning Model Monitoring - Building Nubank","og_description":"Los modelos de aprendizaje autom\u00e1tico (ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.","og_url":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/","og_site_name":"Building Nubank","article_published_time":"2021-08-16T17:48:43+00:00","article_modified_time":"2024-02-27T13:01:31+00:00","og_image":[{"width":1200,"height":675,"url":"https:\/\/i0.wp.com\/building.nu.com\/wp-content\/uploads\/2021\/08\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1","type":"image\/jpeg"}],"author":"Felipe Almeida - Machine Learning Engineer","twitter_card":"summary_large_image","twitter_creator":"@queirozfcom","twitter_misc":{"Escrito por":"Felipe Almeida - Machine Learning Engineer","Tiempo de lectura":"14 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#article","isPartOf":{"@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/"},"author":{"name":"Felipe Almeida - Machine Learning Engineer","@id":"https:\/\/building.nu.com\/es\/#\/schema\/person\/2bce0340e6a654811bb0aea0e58092c5"},"headline":"Monitoreo de Modelos de Aprendizaje Autom\u00e1tico: 9 Consejos Desde las Trincheras","datePublished":"2021-08-16T17:48:43+00:00","dateModified":"2024-02-27T13:01:31+00:00","mainEntityOfPage":{"@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/"},"wordCount":2856,"commentCount":0,"image":{"@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#primaryimage"},"thumbnailUrl":"https:\/\/i0.wp.com\/building.nu.com\/wp-content\/uploads\/2021\/08\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1","keywords":["machine learning","Model Monitoring","observability","Software engineering"],"articleSection":["Data &amp; Analytics","Data Science &amp; Machine Learning"],"inLanguage":"es","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/","url":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/","name":"9 Tips for Machine Learning Model Monitoring - Building Nubank","isPartOf":{"@id":"https:\/\/building.nu.com\/es\/#website"},"primaryImageOfPage":{"@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#primaryimage"},"image":{"@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#primaryimage"},"thumbnailUrl":"https:\/\/i0.wp.com\/building.nu.com\/wp-content\/uploads\/2021\/08\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1","datePublished":"2021-08-16T17:48:43+00:00","dateModified":"2024-02-27T13:01:31+00:00","author":{"@id":"https:\/\/building.nu.com\/es\/#\/schema\/person\/2bce0340e6a654811bb0aea0e58092c5"},"description":"Los modelos de aprendizaje autom\u00e1tico (ML) son piezas de software muy sensibles; su uso exitoso necesita un seguimiento cuidadoso para garantizar que funcionan correctamente.","breadcrumb":{"@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#breadcrumb"},"inLanguage":"es","potentialAction":[{"@type":"ReadAction","target":["https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/"]}]},{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#primaryimage","url":"https:\/\/i0.wp.com\/building.nu.com\/wp-content\/uploads\/2021\/08\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1","contentUrl":"https:\/\/i0.wp.com\/building.nu.com\/wp-content\/uploads\/2021\/08\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1","width":1200,"height":675},{"@type":"BreadcrumbList","@id":"https:\/\/building.nu.com\/es\/monitoreo-de-modelos-de-aprendizaje-automatico-9-consejos-desde-las-trincheras\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/building.nu.com\/es\/"},{"@type":"ListItem","position":2,"name":"Monitoreo de Modelos de Aprendizaje Autom\u00e1tico: 9 Consejos Desde las Trincheras"}]},{"@type":"WebSite","@id":"https:\/\/building.nu.com\/es\/#website","url":"https:\/\/building.nu.com\/es\/","name":"Building Nubank","description":"We make the extraordinary happen","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/building.nu.com\/es\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"es"},{"@type":"Person","@id":"https:\/\/building.nu.com\/es\/#\/schema\/person\/2bce0340e6a654811bb0aea0e58092c5","name":"Felipe Almeida - Machine Learning Engineer","image":{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/building.nubank.com.br\/wp-content\/uploads\/2023\/10\/avatar_user_178110136_1697720449-96x96.jpg","url":"https:\/\/building.nubank.com.br\/wp-content\/uploads\/2023\/10\/avatar_user_178110136_1697720449-96x96.jpg","contentUrl":"https:\/\/building.nubank.com.br\/wp-content\/uploads\/2023\/10\/avatar_user_178110136_1697720449-96x96.jpg","caption":"Felipe Almeida - Machine Learning Engineer"},"description":"Felipe Almeida is responsible for engineering and managing Data Science &amp; Machine Learning projects at Nubank. He has a Bachelor's degree in Computer Science and a Master's degree in Computer Engineering, both from UFRJ. Felipe has experience working with e-commerce, credit and fraud. Before joining Nubank in 2019, he worked in companies such as Ita\u00fa-Unibanco and VTEX. In his spare time, he likes to exercise and learn foreign languages. He is active on twitter and he blogs at https:\/\/queirozf.com","sameAs":["http:\/\/queirozf.com\/","https:\/\/www.linkedin.com\/in\/felipeqbalmeida","https:\/\/x.com\/queirozfcom"],"url":"https:\/\/building.nu.com\/es\/author\/felipe-almeida-data-scientist\/"}]}},"jetpack_shortlink":"https:\/\/wp.me\/pbKBB5-6UH","jetpack_sharing_enabled":true,"jetpack_featured_media_url":"https:\/\/i0.wp.com\/building.nu.com\/wp-content\/uploads\/2021\/08\/ml-monitoring_featured_image.jpg?fit=1200%2C675&ssl=1","_links":{"self":[{"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/posts\/26579","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/users\/178110136"}],"replies":[{"embeddable":true,"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/comments?post=26579"}],"version-history":[{"count":4,"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/posts\/26579\/revisions"}],"predecessor-version":[{"id":28368,"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/posts\/26579\/revisions\/28368"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/media\/23849"}],"wp:attachment":[{"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/media?parent=26579"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/categories?post=26579"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/building.nu.com\/es\/wp-json\/wp\/v2\/tags?post=26579"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}