{"id":31346,"date":"2025-03-24T09:13:15","date_gmt":"2025-03-24T12:13:15","guid":{"rendered":"https:\/\/building.nu.com\/?p=31346"},"modified":"2025-03-27T10:54:11","modified_gmt":"2025-03-27T13:54:11","slug":"modelos-ml-tiempo-real-mas-robustos-entornos-adversariales-consejos-monitoreo","status":"publish","type":"post","link":"https:\/\/building.nu.com\/es\/modelos-ml-tiempo-real-mas-robustos-entornos-adversariales-consejos-monitoreo\/","title":{"rendered":"Modelos de aprendizaje autom\u00e1tico en tiempo real m\u00e1s robustos en entornos adversariales: Consejos pr\u00e1cticos y consideraciones de monitoreo"},"content":{"rendered":"\n

Written by: <\/strong>Felipe Almeida<\/a><\/p>\n\n\n\n

Contributors: <\/strong>Gustavo Dur\u00e3es<\/a>, Juliano Garcia<\/a>, Renata Andrade<\/a>, Mois\u00e9s Rojo<\/a>, Mateus Magalh\u00e3es<\/a><\/p>\n\n\n\n

Introducci\u00f3n<\/h2>\n\n\n\n

Los modelos de aprendizaje autom\u00e1tico (ML) en tiempo real se utilizan frecuentemente para hacer decisiones autom\u00e1ticas en procesos de negocio. Aunque son m\u00e1s complejos de implementar y operar que los modelos batch, suelen ser m\u00e1s efectivos pues usan datos en tiempo real como features y permiten casos de uso donde la retroalimentaci\u00f3n al usuario es esencial.<\/p>\n\n\n\n

\n

Atenci\u00f3n: <\/em><\/strong>Aunque gran parte del contenido de este art\u00edculo tambi\u00e9n se aplica a AI generativa  y Visi\u00f3n por Computadora, este art\u00edculo se centra en  ML tradicional y tabular.<\/em><\/p>\n<\/blockquote>\n\n\n\n

Los sistemas en tiempo real de aprendizaje autom\u00e1tico tradicional (es decir, no basados en IA) suelen funcionar de la siguiente manera: Una acci\u00f3n externa (por ejemplo, un usuario interactuando con una aplicaci\u00f3n m\u00f3vil de un banco digital) desencadena una cadena de eventos que hace que los servicios env\u00eden datos a un modelo en tiempo real, el cual genera una predicci\u00f3n basada en esos datos. Esa predicci\u00f3n se pasa a otro servicio (a veces llamado capa de decisi\u00f3n) para determinar la decisi\u00f3n de negocio adecuada (por ejemplo, aprobar o rechazar una solicitud de pr\u00e9stamo, aceptar o denegar una solicitud de p\u00f3liza de seguro). Un ejemplo simple se puede ver en la Figura 1:<\/p>\n\n\n\n

\"\"
Figura 1: Sistema tradicional en tiempo real habilitado por ML. Despu\u00e9s de que los usuarios interact\u00faan con un sistema (1), los datos en tiempo real se convierten en features (2) que se alimentan a un modelo en tiempo real. El modelo genera predicciones (3) que se pasan a una capa de decisi\u00f3n, y luego las decisiones se propagan (4) al servicio que las solicit\u00f3. Finalmente, una respuesta se entrega al usuario (5).<\/em><\/figcaption><\/figure>\n\n\n\n

Las features utilizadas en los modelos de ML en tiempo real a menudo provienen de patrones y se\u00f1ales de comportamiento del usuario, como datos de geolocalizaci\u00f3n, interacci\u00f3n en redes sociales o acciones previas del usuario. Esto significa que algunas features pueden estar impl\u00edcitamente bajo el control del usuario.<\/p>\n\n\n\n

La mayor\u00eda de las personas sabe que los modelos de ML se utilizan en sistemas de toma de decisi\u00f3n autom\u00e1tica hoy en d\u00eda (por ejemplo, para estimar riesgos, recomendar contenido o clasificar elementos). Algunos pueden intentar manipular los valores de las features para influir en el comportamiento del sistema. Tales intentos \u2014generalmente por parte de actores malintencionados\u2014 de manipular los valores de las features se denominan ataques adversariales<\/strong>.<\/p>\n\n\n\n

\n

Los intentos maliciosos de manipular los valores de las features para modificar las salidas del modelo se llaman <\/em>ataques adversariales<\/em><\/strong>.<\/em><\/p>\n<\/blockquote>\n\n\n\n

Los modelos pueden ser propensos a ataques adversariales si se cumplen dos condiciones: (a) las features pueden ser controladas de alguna manera por los usuarios y (b) existe un incentivo para que las personas manipulen el modelo. Los modelos de ML en tiempo real son a\u00fan m\u00e1s vulnerables; los ciclos de aprendizaje son mucho m\u00e1s cortos y las decisiones basadas en las salidas del modelo pueden ocurrir inmediatamente, sin intervenci\u00f3n humana.<\/p>\n\n\n\n

\n

Los modelos de ML<\/em> en tiempo real <\/em><\/strong>son doblemente vulnerables a los ataques adversariales; las decisiones de negocio  a menudo se toman autom\u00e1ticamente a partir de las salidas del modelo, y puede pasar un tiempo antes de que los ataques sean detectados.<\/em><\/p>\n<\/blockquote>\n\n\n\n

Exploremos algunos ejemplos donde los modelos de ML en tiempo real pueden ser vulnerables a ataques adversariales:<\/p>\n\n\n\n

Ejemplo 1: Evaluaci\u00f3n de cr\u00e9dito en tiempo real<\/strong><\/p>\n\n\n\n

La decisi\u00f3n de si un banco debe otorgar un pr\u00e9stamo a un cliente a menudo la toman modelos de ML. A veces, modelos en tiempo real. La raz\u00f3n para preferir modelos en tiempo real sobre modelos batch es que las decisiones r\u00e1pidas brindan una mejor experiencia de usuario (UX) y aumentan los ingresos, ceteris paribus.<\/p>\n\n\n\n

Esto presenta un conflicto claro; los bancos quieren prestar dinero a personas que lo devolver\u00e1n, pero algunos clientes pueden querer solicitar pr\u00e9stamos incluso si no est\u00e1n seguros de poder pagarlos. Por lo tanto, existe un incentivo financiero para que algunas personas intenten aumentar sus posibilidades de ser aprobadas para un pr\u00e9stamo manipulando el modelo de ML.<\/p>\n\n\n\n

\"\"
Figura 2: Sistema simplificado de suscripci\u00f3n de cr\u00e9dito en tiempo real que utiliza un modelo de ML en tiempo real para predecir el riesgo de incumplimiento.<\/em><\/figcaption><\/figure>\n\n\n\n

Ejemplo 2: Detecci\u00f3n de fraude en tiempo real en compras con tarjeta de cr\u00e9dito<\/strong><\/p>\n\n\n\n

Muchas organizaciones utilizan ML para detectar fraudes. Como en el ejemplo anterior, esto crea un incentivo para que los actores malintencionados intenten enga\u00f1ar a los modelos, ya que los delincuentes quieren llevar a cabo sus operaciones fraudulentas sin ser detectados.<\/p>\n\n\n\n

Un ejemplo particular es cuando un actor malintencionado utiliza informaci\u00f3n il\u00edcita para intentar realizar compras con la tarjeta de cr\u00e9dito de otra persona. Para proteger a los clientes, muchos procesadores de pagos emplean ML en tiempo real para detectar y prevenir tales transacciones fraudulentas.<\/p>\n\n\n\n

\"\"
Figura 3: Muchos procesadores de pagos utilizan sistemas como el anterior para detectar y prevenir compras fraudulentas con tarjetas de cr\u00e9dito.<\/em><\/figcaption><\/figure>\n\n\n\n

Ejemplo 3: Clasificaci\u00f3n en motores de b\u00fasqueda<\/strong><\/p>\n\n\n\n

Los motores de b\u00fasqueda utilizan informaci\u00f3n de las p\u00e1ginas web para evaluar su calidad y determinar c\u00f3mo deben clasificarse en los resultados de b\u00fasqueda. Esto generalmente se hace utilizando modelos de clasificaci\u00f3n basados en aprendizaje autom\u00e1tico y procesamiento de lenguaje natural.<\/p>\n\n\n\n

La forma correcta de mejorar la clasificaci\u00f3n de una p\u00e1gina web es producir contenido de calidad que los usuarios quieran hacer clic y consumir. La Optimizaci\u00f3n para Motores de B\u00fasqueda (SEO) tiene como base esta conducta.<\/p>\n\n\n\n

Sin embargo, dado que los ingresos por publicidad son una funci\u00f3n del n\u00famero de visitas que recibe un sitio web, existe un incentivo financiero claro para que los administradores de sitios web ataquen adversarial mente a los motores de b\u00fasqueda para inflar sus propias clasificaciones. Esto se llama Spamdexing<\/a> e incluye muchas t\u00e1cticas, como el uso de texto invisible, granjas de enlaces y m\u00e1s.<\/p>\n\n\n\n

\"\"
Figura 4: Flujo simplificado para un motor de b\u00fasqueda hipot\u00e9tico que utiliza informaci\u00f3n de p\u00e1ginas web para clasificarlas en orden de relevancia. Tenga en cuenta que en este caso simple no hay una capa de decisi\u00f3n; muchos algoritmos de clasificaci\u00f3n generan una lista clasificada directamente.<\/em><\/figcaption><\/figure>\n\n\n\n


Figura 4: Flujo simplificado para un motor de b\u00fasqueda hipot\u00e9tico que utiliza informaci\u00f3n de p\u00e1ginas web para clasificarlas en orden de relevancia. Tenga en cuenta que en este caso simple no hay una capa de decisi\u00f3n; muchos algoritmos de clasificaci\u00f3n generan una lista clasificada directamente.<\/em><\/p>\n\n\n\n

Como practicantes que utilizan ML en tiempo real en escenarios del mundo real, deseamos que los modelos sean menos vulnerables a ataques adversariales y manipulaci\u00f3n.<\/p>\n\n\n\n

Hay muchas formas de hacerlos m\u00e1s robustos (como veremos a continuaci\u00f3n), pero la \u00fanica soluci\u00f3n sostenible a largo plazo es aceptar el hecho de que los modelos orientados al usuario eventualmente ser\u00e1n manipulados y tener un programa de reentrenamiento frecuente, de modo que los puntos ciegos se incorporen r\u00e1pidamente en el siguiente ciclo de reentrenamiento.<\/p>\n\n\n\n

Antes de comenzar con los consejos, abordemos dos requisitos b\u00e1sicos: 1) comprender la importancia de las features y 2) tener al menos un monitoreo b\u00e1sico de ellas.<\/p>\n\n\n\n

Requisito 1: Comprender la importancia y la direcci\u00f3n del impacto  de las features<\/h2>\n\n\n\n

Necesitas saber qu\u00e9 features son las m\u00e1s importantes y cu\u00e1les de ellas son vulnerables a ataques y manipulaciones por parte de los usuarios. Esto te ayudar\u00e1 a identificar d\u00f3nde se encuentra la mayor parte del riesgo y en qu\u00e9 features debes enfocarte; tambi\u00e9n te permitir\u00e1 estimar el \u00abradio de impacto\u00bb si una feature es explotada.<\/p>\n\n\n\n

\n

Necesitas saber c\u00f3mo las features m\u00e1s importantes afectan la predicci\u00f3n y cu\u00e1les de ellas pueden ser explotadas.<\/em><\/p>\n<\/blockquote>\n\n\n\n

Como m\u00ednimo, necesitas conocer:<\/p>\n\n\n\n