{"id":36608,"date":"2026-04-20T15:30:00","date_gmt":"2026-04-20T18:30:00","guid":{"rendered":"https:\/\/building.nu.com\/?p=36608"},"modified":"2026-04-20T15:23:38","modified_gmt":"2026-04-20T18:23:38","slug":"como-o-nubank-usa-transformers-para-modelar-habitos-financeiros-em-larga-escala","status":"publish","type":"post","link":"https:\/\/building.nu.com\/pt-br\/como-o-nubank-usa-transformers-para-modelar-habitos-financeiros-em-larga-escala\/","title":{"rendered":"Como o Nubank usa Transformers para modelar h\u00e1bitos financeiros em larga escala"},"content":{"rendered":"\n

Escrito por : Nubank Editorial<\/em><\/p>\n\n\n\n

E se, em vez de depender de engenharia manual de features, fosse poss\u00edvel aprender diretamente do comportamento financeiro bruto dos usu\u00e1rios em escala? <\/p>\n\n\n\n

Foi para defender essa tese que participamos do epis\u00f3dio 122 do podcast Data Hackers, a maior comunidade de profissionais de Dados e IA do Brasil<\/strong>. Criada em 2018, a comunidade re\u00fane milhares de profissionais e lideran\u00e7as da \u00e1rea e promove discuss\u00f5es t\u00e9cnicas sobre o mercado de tecnologia.<\/p>\n\n\n\n

Na conversa com Monique Femme e Paulo Vasconcellos, hosts do podcast, Arissa Yoshida e Rafael Celente, Senior Research Engineers no Nubank, compartilharam os avan\u00e7os por tr\u00e1s do paper \u201cYour Spending Needs Attention: Modeling Financial Habits with Transformers\u201d<\/em><\/a> e como essa pesquisa j\u00e1 est\u00e1 sendo aplicada na pr\u00e1tica.<\/p>\n\n\n\n

O ponto de partida \u00e9 que, embora institui\u00e7\u00f5es financeiras tenham acesso a volumes massivos de dados, como transa\u00e7\u00f5es, eventos no app e intera\u00e7\u00f5es com clientes, extrair valor desses dados ainda \u00e9 complexo, devido \u00e0 sua natureza sequencial e n\u00e3o estruturada. Tradicionalmente, isso levou ao uso de modelos baseados em features tabulares constru\u00eddas manualmente.<\/p>\n\n\n\n

O paper explora um caminho diferente: o uso de modelos baseados em Transformers e aprendizado auto-supervisionado para aprender representa\u00e7\u00f5es diretamente desses dados. Essa abordagem deu origem ao nuFormer<\/strong>, um modelo que combina atributos estruturados e textuais de transa\u00e7\u00f5es e permite fine-tuning para tarefas como cr\u00e9dito, fraude e recomenda\u00e7\u00e3o, com ganhos mensur\u00e1veis em problemas de larga escala.<\/p>\n\n\n\n

Do machine learning tradicional aos modelos fundacionais<\/strong><\/p>\n\n\n\n

Para entender a relev\u00e2ncia dessa abordagem, \u00e9 importante olhar para o ponto de partida. Durante anos, modelos tradicionais de machine learning dominaram aplica\u00e7\u00f5es no setor financeiro, especialmente com t\u00e9cnicas baseadas em \u00e1rvores de decis\u00e3o e forte engenharia de features. Esses modelos permanecem eficazes, mas apresentam limita\u00e7\u00f5es importantes quando o problema envolve grandes volumes de dados n\u00e3o estruturados e a necessidade de capturar padr\u00f5es complexos ao longo do tempo.<\/p>\n\n\n\n

No contexto do Nubank, onde existe uma enorme quantidade de dados ricos, especialmente sequ\u00eancias de transa\u00e7\u00f5es, essa limita\u00e7\u00e3o se torna ainda mais evidente. Como fala Arissa Yoshida, esses modelos dependem fortemente de uma etapa manual e especializada de constru\u00e7\u00e3o de vari\u00e1veis.<\/p>\n\n\n\n

 \u201c(Nos modelos tradicionais,) voc\u00ea depende muito de handcraft features, que \u00e9 basicamente a ideia de ter uma engenharia para extrair valor dos dados. Para isso, \u00e9 preciso ter pessoas que entendam aquele dado e consigam trabalhar sobre ele\u201d <\/em><\/p>\n\n\n\n

Arissa Yoshida, Senior Machine Learning Engineer no Nubank<\/em><\/p>\n\n\n\n

Essa depend\u00eancia torna o processo menos escal\u00e1vel e mais custoso, principalmente \u00e0 medida que o volume e a complexidade dos dados aumentam. Rafael Celente refor\u00e7a esse ponto ao explicar que o desafio vai al\u00e9m da modelagem em si e est\u00e1 ligado \u00e0 capacidade de generaliza\u00e7\u00e3o: \u201ca gente tem um dataset enorme, e a nossa hip\u00f3tese era fazer com que um modelo generalizasse o comportamento dos nossos clientes a partir desses dados\u201d<\/em>.<\/p>\n\n\n\n

Essa limita\u00e7\u00e3o, combinada \u00e0 necessidade de modelos que aprendam diretamente dos dados, abre espa\u00e7o para a ado\u00e7\u00e3o de modelos fundacionais no contexto financeiro.<\/p>\n\n\n\n

Tratando dados financeiros como linguagem<\/strong><\/h2>\n\n\n\n

A principal mudan\u00e7a de paradigma est\u00e1 na forma de encarar esses dados. Ao inv\u00e9s de tratar transa\u00e7\u00f5es como registros isolados, a proposta \u00e9 interpret\u00e1-las como uma sequ\u00eancia com estrutura, contexto e significado, muito semelhante \u00e0 linguagem natural.<\/p>\n\n\n\n

Transformers operam sobre tokens e aprendem rela\u00e7\u00f5es entre eles. Isso significa que, ao transformar transa\u00e7\u00f5es em sequ\u00eancias tokenizadas, \u00e9 poss\u00edvel capturar padr\u00f5es comportamentais de maneira muito mais profunda. Isso porque o modelo n\u00e3o diferencia se est\u00e1 lidando com palavras, pixels ou eventos financeiros, mas sim com as rela\u00e7\u00f5es entre esses elementos.<\/p>\n\n\n\n

Essa flexibilidade \u00e9 o que permite aplicar uma arquitetura originalmente pensada para uma linguagem natural a um dom\u00ednio completamente diferente, como o financeiro.<\/p>\n\n\n\n

O que \u00e9 o nuFormer e por que ele importa<\/strong><\/h2>\n\n\n\n

\u00c9 nesse contexto que surge o nuFormer<\/strong>, um modelo fundacional desenvolvido pelo time de AI Core do Nubank para aprender representa\u00e7\u00f5es a partir de dados financeiros em larga escala. A ideia central n\u00e3o \u00e9 apenas resolver um problema espec\u00edfico, mas criar uma base reutiliz\u00e1vel para diferentes aplica\u00e7\u00f5es dentro do banco. A partir dessas representa\u00e7\u00f5es, conseguimos melhorar casos de uso como detec\u00e7\u00e3o de fraude, recomenda\u00e7\u00e3o de produtos e modelagem de risco.<\/p>\n\n\n\n

O diferencial est\u00e1 na capacidade de generaliza\u00e7\u00e3o. Ao inv\u00e9s de treinar um modelo do zero para cada problema, o nuFormer aprende uma representa\u00e7\u00e3o do comportamento financeiro que pode ser reaproveitada em m\u00faltiplos contextos, permitindo que diferentes aplica\u00e7\u00f5es partam de uma mesma base. <\/p>\n\n\n\n

Como explica Arissa Yoshida no epis\u00f3dio, a ideia desse novo tipo de modelo \u00e9 \u201cconseguir generalizar e tirar informa\u00e7\u00e3o de dado bruto, muitas vezes n\u00e3o estruturado, e conseguir escalar isso para v\u00e1rios problemas\u201d<\/em>.<\/p>\n\n\n\n

Embora a tese inicial tenha come\u00e7ado com transa\u00e7\u00f5es, o modelo evoluiu rapidamente para incorporar diferentes tipos de dados. Hoje, a vis\u00e3o \u00e9 de um sistema multimodal, capaz de integrar n\u00e3o apenas dados financeiros estruturados, mas tamb\u00e9m sinais comportamentais, intera\u00e7\u00f5es dentro do app e outras fontes de informa\u00e7\u00e3o. <\/p>\n\n\n\n

Isso amplia o potencial do modelo, que deixa de capturar apenas eventos isolados e passa a representar o comportamento do cliente de forma mais completa, abrindo espa\u00e7o para aplica\u00e7\u00f5es mais sofisticadas.<\/p>\n\n\n\n

Esse avan\u00e7o tamb\u00e9m se conecta a outras iniciativas do time de AI Core, como o desenvolvimento de agentes de IA que utilizam essas representa\u00e7\u00f5es para operar em cen\u00e1rios reais e em larga escala. O time falou sobre esses exemplos nos posts \u201cConstruindo agentes de IA na pr\u00e1tica com Clojure\u201d<\/a> e \u201cConstruindo agentes de IA para 131 milh\u00f5es de clientes\u201d<\/a>, aqui no Building Nubank.<\/p>\n\n\n\n

Engenharia, dados e governan\u00e7a em modelos fundacionais<\/strong><\/h2>\n\n\n\n

Em uma das partes mais relevantes da conversa, ficou claro que o maior desafio n\u00e3o est\u00e1 apenas no modelo, mas na engenharia necess\u00e1ria para viabiliz\u00e1-lo. Treinar um modelo desse porte exige infraestrutura robusta, com pipelines bem estruturadas, gerenciamento de GPUs e treinamento distribu\u00eddo. No entanto, o ponto mais cr\u00edtico aparece na hora de levar isso para produ\u00e7\u00e3o.<\/p>\n\n\n\n

Modelos baseados em Transformers tendem a ter maior lat\u00eancia, o que pode ser um fator sens\u00edvel em aplica\u00e7\u00f5es financeiras. Ainda assim, com a infraestrutura adequada e equipes especializadas, \u00e9 poss\u00edvel atingir n\u00edveis de performance compar\u00e1veis aos modelos tradicionais. Esse cen\u00e1rio evidencia que o desafio vai al\u00e9m de machine learning e passa a ser tamb\u00e9m um problema de sistemas, exigindo colabora\u00e7\u00e3o entre diferentes \u00e1reas. Como resume Rafael Celente, \u201cn\u00e3o \u00e9 s\u00f3 um problema de machine learning, \u00e9 um problema de sistemas\u201d<\/em>.<\/p>\n\n\n\n

Essa complexidade se estende ao papel dos dados e \u00e0 forma como os modelos s\u00e3o avaliados. Embora treinar modelos em larga escala j\u00e1 seja uma realidade, garantir que eles estejam aprendendo corretamente continua sendo um dos principais desafios. Isso envolve a constru\u00e7\u00e3o de pipelines de dados consistentes, monitoramento cont\u00ednuo e defini\u00e7\u00e3o de m\u00e9tricas alinhadas ao impacto no neg\u00f3cio.<\/p>\n\n\n\n

Al\u00e9m disso, no contexto financeiro, entra uma camada adicional de exig\u00eancia relacionada \u00e0 governan\u00e7a. Modelos precisam passar por m\u00faltiplas valida\u00e7\u00f5es antes de serem colocados em produ\u00e7\u00e3o, garantindo conformidade com regulamenta\u00e7\u00f5es e padr\u00f5es internos. Nesse cen\u00e1rio, a constru\u00e7\u00e3o de modelos fundacionais depende da atua\u00e7\u00e3o conjunta de times de engenharia de dados, infraestrutura, avalia\u00e7\u00e3o, produto e neg\u00f3cio, garantindo que as solu\u00e7\u00f5es n\u00e3o apenas funcionem, mas gerem impacto real de forma sustent\u00e1vel.<\/p>\n\n\n\n

Resultados e impacto<\/strong><\/h2>\n\n\n\n

A aplica\u00e7\u00e3o desses modelos em sistemas j\u00e1 existentes trouxe ganhos relevantes em m\u00e9tricas-chave em um intervalo de poucos meses, superando melhorias acumuladas ao longo de anos com abordagens tradicionais.<\/p>\n\n\n\n

Esses avan\u00e7os n\u00e3o ficaram restritos a um \u00fanico caso de uso. O modelo j\u00e1 vem sendo aplicado em diferentes frentes, como cr\u00e9dito, lending, previs\u00e3o de renda e cross-sell<\/strong>, demonstrando que a abordagem pode ser reutilizada em m\u00faltiplos contextos dentro do banco.<\/p>\n\n\n\n

Essa capacidade de reaproveitamento n\u00e3o apenas acelera o desenvolvimento de novas solu\u00e7\u00f5es, como tamb\u00e9m cria um efeito multiplicador de valor, permitindo que diferentes produtos se beneficiem de uma mesma base de aprendizado.<\/p>\n\n\n\n

Olhando \u00e0 frente, nossa ambi\u00e7\u00e3o n\u00e3o \u00e9 apenas acompanhar o \u201cestado da arte\u201d, mas contribuir para ele. Isso inclui explorar novas arquiteturas, expandir o uso de modelos multimodais e continuar compartilhando aprendizados com a comunidade. Como discutido no epis\u00f3dio, o objetivo \u00e9 desafiar o status quo e estabelecer novos padr\u00f5es para o uso de intelig\u00eancia artificial no setor financeiro.<\/p>\n\n\n\n

A participa\u00e7\u00e3o no Data Hackers Podcast #122<\/strong> refor\u00e7a um ponto central da nossa estrat\u00e9gia: modelos fundacionais j\u00e1 est\u00e3o sendo aplicados na pr\u00e1tica para resolver problemas reais no setor financeiro, com impacto direto em como constru\u00edmos produtos, tomamos decis\u00f5es e escalamos intelig\u00eancia.<\/p>\n\n\n\n

Ao aplicar Transformers para modelar h\u00e1bitos financeiros em larga escala, o Nubank avan\u00e7a na constru\u00e7\u00e3o de uma plataforma de IA capaz de aprender diretamente dos dados e evoluir continuamente. O uso do nuFormer em produ\u00e7\u00e3o, com aplica\u00e7\u00f5es em cr\u00e9dito e outras frentes, mostra como essa abordagem pode ser expandida horizontalmente e gerar valor de forma consistente.<\/p>\n\n\n\n

Se voc\u00ea quer trabalhar em problemas dessa natureza, lidando com dados em larga escala, desenvolvendo modelos fundacionais e impactando mais de 131 milh\u00f5es de clientes, estamos com vagas abertas no time de AI Core.
<\/p>\n\n\n\n

\n