{"id":36614,"date":"2026-04-20T15:30:00","date_gmt":"2026-04-20T18:30:00","guid":{"rendered":"https:\/\/building.nu.com\/?p=36614"},"modified":"2026-04-20T15:24:59","modified_gmt":"2026-04-20T18:24:59","slug":"como-nubank-usa-transformers-para-modelar-habitos-financieros-a-gran-escala","status":"publish","type":"post","link":"https:\/\/building.nu.com\/es\/como-nubank-usa-transformers-para-modelar-habitos-financieros-a-gran-escala\/","title":{"rendered":"C\u00f3mo Nubank usa Transformers para modelar h\u00e1bitos financieros a gran escala"},"content":{"rendered":"\n

Escrito por: Nubank Editorial<\/em><\/p>\n\n\n\n

\u00bfY si, en lugar de depender de la ingenier\u00eda manual de features, pudi\u00e9ramos aprender directamente del comportamiento financiero en bruto de los usuarios a gran escala? <\/p>\n\n\n\n

Esa fue la tesis que presentamos en el episodio 122 del podcast Data Hackers, la comunidad m\u00e1s grande de profesionales de Datos e IA de Brasil<\/strong>. Fundada en 2018, la comunidad re\u00fane a miles de profesionales y l\u00edderes del \u00e1rea para discutir lo m\u00e1s avanzado en tecnolog\u00eda.<\/p>\n\n\n\n

En conversaci\u00f3n con los presentadores Monique Femme y Paulo Vasconcellos, Arissa Yoshida y Rafael Celente, Senior Research Engineers en Nubank, compartieron los avances detr\u00e1s del paper \u201cYour Spending Needs Attention: Modeling Financial Habits with Transformers\u201d<\/em><\/a> y c\u00f3mo esta investigaci\u00f3n ya se est\u00e1 aplicando en la pr\u00e1ctica.<\/p>\n\n\n\n

El punto de partida es claro: las instituciones financieras tienen acceso a vol\u00famenes masivos de datos \u2014 transacciones, eventos en la app, interacciones con clientes \u2014 pero extraer valor real de ellos sigue siendo un desaf\u00edo considerable. Su naturaleza secuencial y no estructurada ha llevado hist\u00f3ricamente al uso de modelos tabulares basados en features construidas manualmente.<\/p>\n\n\n\n

El paper propone un camino distinto: aprovechar arquitecturas basadas en Transformers y aprendizaje auto-supervisado para construir representaciones directamente a partir de los datos en bruto. De este trabajo naci\u00f3 nuFormer<\/strong>, un modelo que combina atributos estructurados y textuales de las transacciones, y permite fine-tuning para tareas como scoring crediticio, detecci\u00f3n de fraude y recomendaci\u00f3n de productos \u2014 con ganancias medibles a gran escala.<\/p>\n\n\n\n

Del machine learning tradicional a los modelos fundacionales<\/strong><\/p>\n\n\n\n

Para entender por qu\u00e9 esto es relevante, vale la pena mirar el punto de partida. Durante a\u00f1os, los modelos tradicionales de ML \u2014 particularmente m\u00e9todos basados en \u00e1rboles combinados con una fuerte ingenier\u00eda de features \u2014 dominaron las aplicaciones financieras. Estos modelos siguen siendo eficaces, pero encuentran un techo cuando el problema involucra grandes vol\u00famenes de datos no estructurados y la necesidad de capturar patrones temporales complejos.<\/p>\n\n\n\n

En Nubank, donde contamos con un dataset extraordinariamente rico \u2014 especialmente largas secuencias de transacciones financieras \u2014 esta limitaci\u00f3n se vuelve dif\u00edcil de ignorar. Como se\u00f1ala Arissa Yoshida, estos enfoques tradicionales dependen en gran medida de una etapa manual y especializada de construcci\u00f3n de variables.<\/p>\n\n\n\n

 \u201cEn los modelos tradicionales, dependes mucho de las handcrafted features, que es b\u00e1sicamente la idea de construir un pipeline de ingenier\u00eda completo para extraer valor de los datos. Para eso se necesitan personas con profundo conocimiento del dominio que trabajen manualmente sobre los datos.\u201d <\/em><\/p>\n\n\n\n

Arissa Yoshida, Senior Machine Learning Engineer en Nubank<\/em><\/p>\n\n\n\n

Esta dependencia hace que el proceso sea menos escalable y m\u00e1s costoso, sobre todo a medida que el volumen y la complejidad de los datos crecen. Rafael Celente refuerza este punto al explicar que el desaf\u00edo va m\u00e1s all\u00e1 del modelado en s\u00ed \u2014 se trata de generalizaci\u00f3n: \u201ctenemos un dataset enorme, y nuestra hip\u00f3tesis era lograr que un modelo generalizara el comportamiento de nuestros clientes a partir de esos datos.\u201d<\/em>.<\/p>\n\n\n\n

Esta limitaci\u00f3n, combinada con la necesidad de modelos que aprendan directamente de los datos, abre la puerta a los modelos fundacionales en el contexto financiero.<\/p>\n\n\n\n

Datos financieros como lenguaje<\/strong><\/h2>\n\n\n\n

El cambio de paradigma fundamental est\u00e1 en c\u00f3mo miramos los datos. En lugar de tratar las transacciones como registros aislados, la propuesta es interpretarlas como secuencias con estructura, contexto y significado \u2014 de manera muy similar al lenguaje natural.<\/p>\n\n\n\n

Los Transformers operan sobre tokens y aprenden las relaciones entre ellos. Al convertir las transacciones en secuencias tokenizadas, podemos capturar patrones de comportamiento a un nivel mucho m\u00e1s profundo. Al modelo no le importa si est\u00e1 procesando palabras, p\u00edxeles o eventos financieros \u2014 lo que importa son las relaciones entre esos elementos.<\/p>\n\n\n\n

Esta flexibilidad es precisamente lo que permite aplicar una arquitectura originalmente dise\u00f1ada para el lenguaje natural a un dominio completamente diferente como el financiero.<\/p>\n\n\n\n

Qu\u00e9 es nuFormer y por qu\u00e9 importa<\/strong><\/h2>\n\n\n\n

En este contexto nace nuFormer<\/strong>, un modelo fundacional desarrollado por el equipo de AI Core de Nubank para aprender representaciones a partir de datos financieros a gran escala. El objetivo no es resolver un solo problema, sino crear una base reutilizable para distintas aplicaciones dentro del banco. A partir de estas representaciones, podemos mejorar casos de uso como detecci\u00f3n de fraude, recomendaci\u00f3n de productos y modelado de riesgo.<\/p>\n\n\n\n

El diferencial clave es la capacidad de generalizaci\u00f3n. En lugar de entrenar un modelo desde cero para cada problema, nuFormer aprende una representaci\u00f3n del comportamiento financiero que puede ser reutilizada en m\u00faltiples contextos, dando a diferentes aplicaciones un punto de partida compartido. <\/p>\n\n\n\n

Como explica Arissa Yoshida en el episodio, la visi\u00f3n detr\u00e1s de este nuevo tipo de modelo es \u201cgeneralizar y extraer informaci\u00f3n de datos en bruto, muchas veces no estructurados, y escalar eso a varios problemas.\u201d<\/em>.<\/p>\n\n\n\n

Aunque el trabajo inicial comenz\u00f3 con transacciones, el modelo evolucion\u00f3 r\u00e1pidamente para incorporar distintos tipos de datos. Hoy, la visi\u00f3n es multimodal \u2014 capaz de integrar no solo datos financieros estructurados, sino tambi\u00e9n se\u00f1ales comportamentales, interacciones dentro de la app y otras fuentes de informaci\u00f3n. <\/p>\n\n\n\n

Esto ampl\u00eda significativamente el potencial del modelo: pasa de capturar eventos aislados a representar una imagen m\u00e1s completa del comportamiento del cliente, abriendo paso a aplicaciones m\u00e1s sofisticadas.<\/p>\n\n\n\n

Esta evoluci\u00f3n tambi\u00e9n se conecta con otras iniciativas del equipo de AI Core, como los agentes de IA que aprovechan estas representaciones para operar en escenarios reales a gran escala. El equipo comparti\u00f3 estos ejemplos en los posts \u201cConstruyendo agentes de IA en la pr\u00e1ctica con Clojure\u201d<\/a> y \u201cConstruyendo agentes de IA para 131 millones de clientes\u201d<\/a>, aqu\u00ed en Building Nubank.<\/p>\n\n\n\n

Ingenier\u00eda, datos y gobernanza en modelos fundacionales<\/strong><\/h2>\n\n\n\n

Una de las partes m\u00e1s reveladoras de la conversaci\u00f3n dej\u00f3 claro que el mayor desaf\u00edo no est\u00e1 en el modelo en s\u00ed, sino en la ingenier\u00eda necesaria para hacerlo funcionar. Entrenar un modelo de esta escala exige infraestructura robusta: pipelines bien estructurados, gesti\u00f3n de GPUs y entrenamiento distribuido. Pero el verdadero punto cr\u00edtico aparece al llevarlo a producci\u00f3n.<\/p>\n\n\n\n

Los modelos basados en Transformers tienden a tener mayor latencia, lo cual puede ser un factor sensible en aplicaciones financieras. Aun as\u00ed, con la infraestructura adecuada y equipos especializados, es posible alcanzar niveles de rendimiento comparables a los modelos tradicionales. Esta realidad evidencia que el desaf\u00edo trasciende el ML \u2014 es un problema de sistemas que requiere colaboraci\u00f3n entre \u00e1reas. Como resume Rafael Celente: \u201cno es solo un problema de machine learning, es un problema de sistemas.\u201d<\/em>.<\/p>\n\n\n\n

Esta complejidad se extiende al rol de los datos y la evaluaci\u00f3n de modelos. Si bien entrenar a gran escala ya es una realidad, garantizar que los modelos est\u00e9n aprendiendo correctamente sigue siendo uno de los mayores desaf\u00edos. Eso implica construir pipelines de datos consistentes, monitoreo continuo y definir m\u00e9tricas alineadas con el impacto en el negocio.<\/p>\n\n\n\n

Adem\u00e1s, el sector financiero agrega una capa adicional de exigencia: la gobernanza. Los modelos deben pasar por m\u00faltiples rondas de validaci\u00f3n antes de entrar en producci\u00f3n, asegurando el cumplimiento de regulaciones y est\u00e1ndares internos. En este escenario, construir modelos fundacionales requiere el esfuerzo conjunto de equipos de ingenier\u00eda de datos, infraestructura, evaluaci\u00f3n, producto y negocio \u2014 garantizando que las soluciones no solo funcionen, sino que generen impacto real de forma sostenible.<\/p>\n\n\n\n

Resultados e impacto<\/strong><\/h2>\n\n\n\n

La implementaci\u00f3n de estos modelos en sistemas existentes ha generado ganancias significativas en m\u00e9tricas clave en apenas unos meses \u2014 superando mejoras que se hab\u00edan acumulado durante a\u00f1os con enfoques tradicionales.<\/p>\n\n\n\n

Estas ganancias no se limitan a un solo caso de uso. El modelo ya se est\u00e1 aplicando en m\u00faltiples frentes, incluyendo cr\u00e9dito, lending, predicci\u00f3n de ingresos y cross-sell<\/strong>, demostrando que el enfoque puede ser reutilizado en una variedad de contextos dentro del banco.<\/p>\n\n\n\n

Esta capacidad de reutilizaci\u00f3n no solo acelera el desarrollo de nuevas soluciones \u2014 crea un efecto multiplicador, permitiendo que diferentes productos se beneficien de una misma base de aprendizaje.<\/p>\n\n\n\n

Mirando hacia adelante, nuestra ambici\u00f3n no es solo mantenernos al d\u00eda con el estado del arte, sino contribuir a \u00e9l. Eso incluye explorar nuevas arquitecturas, expandir las capacidades multimodales y seguir compartiendo lo que aprendemos con la comunidad. Como se discuti\u00f3 en el episodio, el objetivo es desafiar el status quo y establecer nuevos est\u00e1ndares para la IA en finanzas.<\/p>\n\n\n\n

Nuestra participaci\u00f3n en el Data Hackers Podcast #122<\/strong> refuerza un pilar central de nuestra estrategia: los modelos fundacionales ya se est\u00e1n aplicando en la pr\u00e1ctica para resolver problemas reales en finanzas, con impacto directo en c\u00f3mo construimos productos, tomamos decisiones y escalamos inteligencia.<\/p>\n\n\n\n

Al aplicar Transformers para modelar h\u00e1bitos financieros a gran escala, Nubank est\u00e1 construyendo una plataforma de IA que aprende directamente de los datos y evoluciona de forma continua. nuFormer en producci\u00f3n, con aplicaciones en cr\u00e9dito y m\u00e1s, demuestra c\u00f3mo este enfoque puede expandirse horizontalmente y generar valor de manera consistente.<\/p>\n\n\n\n

Si quieres trabajar en problemas de esta naturaleza \u2014 manejar datos a gran escala, desarrollar modelos fundacionales e impactar a m\u00e1s de 131 millones de clientes \u2014 estamos contratando en el equipo de AI Core.<\/p>\n\n\n\n

\n