{"id":31992,"date":"2025-03-24T11:19:37","date_gmt":"2025-03-24T14:19:37","guid":{"rendered":"https:\/\/building.nu.com\/?p=31992"},"modified":"2025-05-14T12:15:06","modified_gmt":"2025-05-14T15:15:06","slug":"entendendo-as-financas-dos-nossos-clientes-por-meio-de-modelos-fundacionais","status":"publish","type":"post","link":"https:\/\/building.nu.com\/pt-br\/entendendo-as-financas-dos-nossos-clientes-por-meio-de-modelos-fundacionais\/","title":{"rendered":"Entendendo as finan\u00e7as dos nossos clientes por meio de modelos fundacionais"},"content":{"rendered":"\n

Autor: Daniel Braithwaite<\/a><\/em> e Hiroto Udagawa<\/em><\/a><\/p>\n\n\n\n

O trabalho descrito aqui \u00e9 um esfor\u00e7o colaborativo de muitos engenheiros do Nubank (em ordem alfab\u00e9tica): Abhishek Shivanna, Arissa Yoshida, Austin McEver, Cristiano Breuel, Brian Zanfelice, Evan Wingert, Fabio Souza, Felipe Meneses, Helder Dias, Henrique Fernandes, Liam O’Neill, Marcelo Buga, Matheus Ramos e Misael Cavalcanti. Tamb\u00e9m agradecemos a Rohan Ramanath, Daniel Silva e Guilherme Tanure pelo apoio.<\/em><\/p>\n\n\n\n

Revisores das tradu\u00e7\u00f5es: Felipe Almeida<\/a> e Kevin Rossell<\/a><\/em><\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Modelos preditivos s\u00e3o a base de muitos sistemas cr\u00edticos dentro de institui\u00e7\u00f5es financeiras, como previs\u00e3o de risco, detec\u00e7\u00e3o de fraudes e recomenda\u00e7\u00f5es de produtos. Para alimentar essas previs\u00f5es, a maioria das plataformas de bancos digitais tem acesso a grandes volumes de dados dos usu\u00e1rios, desde transa\u00e7\u00f5es banc\u00e1rias e eventos no aplicativo at\u00e9 logs de conversas com o suporte ao cliente. Combinadas, essas fontes podem nos fornecer insights valiosos sobre o que nossos clientes precisam de n\u00f3s, que somos sua institui\u00e7\u00e3o financeira de confian\u00e7a. Historicamente, por\u00e9m, essas fontes de dados t\u00eam sido usadas para extrair features \u00fateis, mas relativamente simples, para resolver as tarefas preditivas mencionadas. Neste post, propomos o desenvolvimento de modelos fundacionais (do ingl\u00eas, foundational models)  para dados financeiros, especificamente transa\u00e7\u00f5es. Esses modelos facilitam a descoberta automatizada de features gerais a partir das transa\u00e7\u00f5es. Al\u00e9m disso, essas features s\u00e3o \u00fateis para resolver diversas tarefas em todo o Nubank.<\/p>\n\n\n\n

Modelos tradicionais de aprendizado de m\u00e1quina (ML) foram constru\u00eddos para features tabulares (por exemplo, num\u00e9ricas, categ\u00f3ricas), que se tornaram a norma para sistemas de aprendizado de m\u00e1quina na ind\u00fastria devido \u00e0 sua simplicidade, interpretabilidade e robustez. Embora essas abordagens funcionem bem na pr\u00e1tica, a cria\u00e7\u00e3o de features tabulares \u00e9 intensiva e requer muita tentativa e erro. Em outros campos, no entanto, ML avan\u00e7ou em dire\u00e7\u00e3o \u00e0 aprendizagem de representa\u00e7\u00f5es (do ingl\u00eas, representation learning) diretamente a partir dos dados brutos para tarefas de aprendizado supervisionado. Um exemplo comum \u00e9 que as redes neurais convolucionais aprendem automaticamente features como bordas, texturas e formas a partir de imagens brutas [1, 2]. Essa configura\u00e7\u00e3o facilita a aprendizagem autom\u00e1tica de features que resolvem a tarefa de aprendizado supervisionado, evitando assim a necessidade de engenharia manual de features. Apesar dessas t\u00e9cnicas de modelagem mais avan\u00e7adas existirem em outros dom\u00ednios (linguagem, vis\u00e3o, sistemas de recomenda\u00e7\u00e3o sequencial, etc.), a maioria das aplica\u00e7\u00f5es de ML na ind\u00fastria financeira ficou para tr\u00e1s.<\/p>\n\n\n\n

Uma das tend\u00eancias mais significativas recentes no aprendizado de m\u00e1quina \u00e9 a no\u00e7\u00e3o de modelos fundacionais (do ingl\u00eas, foundational models), que aprendem representa\u00e7\u00f5es gen\u00e9ricas de embeddings a partir de dados brutos, como texto [3], imagens [4] e eventos [5]. Esses modelos s\u00e3o treinados com grandes quantidades de dados n\u00e3o rotulados e aproveitam o aprendizado auto-supervisionado (SSL, do ingl\u00eas self-supervised learning), que envolve a constru\u00e7\u00e3o impl\u00edcita de r\u00f3tulos pseudo-supervisionados a partir dos dados, por exemplo, prever as pr\u00f3ximas palavras em uma frase. O uso do SSL permite que os modelos fundacionaisaprendam representa\u00e7\u00f5es informativas das entradas sem r\u00f3tulos expl\u00edcitos. Essas representa\u00e7\u00f5es podem ent\u00e3o ser usadas para resolver diversas tarefas subsequentes com maior precis\u00e3o, todas dependendo do mesmo modelo base. Isso contrasta com features criadas manualmente ou aprendidas com t\u00e9cnicas supervisionadas, ambas frequentemente dependentes do problema.<\/p>\n\n\n\n

Curiosamente, a escalabilidade dos modelos fundacionais tamb\u00e9m pode resultar em propriedades emergentes. Por exemplo, grandes modelos de linguagem aprendem a realizar tarefas como responder perguntas ou resumir textos simplesmente ao observar a linguagem natural [6]. Como resultado, levantamos a hip\u00f3tese de que, ao construir modelos de base a partir de transa\u00e7\u00f5es banc\u00e1rias e outras fontes de dados dentro de uma institui\u00e7\u00e3o financeira, podemos entender nossos clientes al\u00e9m das capacidades dos m\u00e9todos existentes.<\/p>\n\n\n\n

Na Nubank, estamos desenvolvendo modelos de base do zero para permitir que as equipes desbloqueiem os sinais dos vastos volumes de dados financeiros que os clientes produzem diariamente. Al\u00e9m disso, desenvolvemos uma plataforma de IA interna para estender esses modelos al\u00e9m das transa\u00e7\u00f5es, considerando todas as intera\u00e7\u00f5es do usu\u00e1rio (por exemplo, eventos no aplicativo) e novos fluxos de transa\u00e7\u00f5es. As equipes da Nubank podem aproveitar um reposit\u00f3rio central de modelos fundacionais e pipelines de ajuste fino para resolver suas tarefas espec\u00edficas.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Neste post, exploramos modelos fundacionais, especificamente no contexto de dados de transa\u00e7\u00f5es. Apesar do sucesso dos modelos fundacionais em outros campos, encontramos trabalhos publicamente dispon\u00edveis limitados em nosso dom\u00ednio de interesse. Al\u00e9m disso, na literatura dispon\u00edvel [7, 8], a escala n\u00e3o se aproxima do volume de dados que temos dispon\u00edvel na Nubank. Por exemplo, [8] usa bilh\u00f5es de transa\u00e7\u00f5es, enquanto temos acesso a trilh\u00f5es de transa\u00e7\u00f5es e eventos entre os mais de 100 milh\u00f5es de clientes da Nubank. Como mencionado, isso \u00e9 importante porque o volume de dados \u00e9 essencial para descobrir as propriedades emergentes de grandes modelos deste tipo.<\/p>\n\n\n\n

Nosso objetivo \u00e9 ingerir as transa\u00e7\u00f5es ordenadas no tempo de um cliente e representar seu comportamento financeiro como um embedding. Cada transa\u00e7\u00e3o \u00e9 representada por texto, juntamente com atributos num\u00e9ricos e categ\u00f3ricos. Como \u00e9 comum em outros dom\u00ednios, como linguagem natural, imagens e \u00e1udio, descobrimos que \u00e9 poss\u00edvel resumir eficientemente o comportamento do cliente aprendendo a prever suas transa\u00e7\u00f5es futuras. A estrutura geral do nosso modelo fundacional \u00e9 mostrada na figura abaixo. No restante deste post, apresentamos alguns componentes-chave desse modelo, cujos detalhes ser\u00e3o abordados em posts futuros.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

O n\u00facleo do transformer [9] opera em sequ\u00eancias de embeddings. Portanto, devemos definir uma interface entre a transa\u00e7\u00e3o e esses modelos de sequ\u00eancia para sequ\u00eancia. Isso nos permite construir nossos pr\u00f3prios modelos baseados em transformers por meio de pr\u00e9-treinamento (do zero) no corpus de transa\u00e7\u00f5es de usu\u00e1rios da Nubank. Como discutido, uma vantagem-chave desses modelos de embedding de usu\u00e1rios \u00e9 que eles eliminam a necessidade de engenharia manual de features a partir desses dados. Al\u00e9m disso, observamos promissoras leis de escalabilidade, onde essas representa\u00e7\u00f5es de usu\u00e1rios se tornam mais poderosas em v\u00e1rias tarefas \u00e0 medida que aumentamos os dados, a capacidade de computa\u00e7\u00e3o e o tamanho do modelo.<\/p>\n\n\n\n

No entanto, para muitas tarefas subsequentes, as equipes t\u00eam solu\u00e7\u00f5es existentes baseadas em features tabulares derivadas de fontes de transa\u00e7\u00f5es e n\u00e3o transa\u00e7\u00f5es. \u00c9 importante que qualquer solu\u00e7\u00e3o baseada em modelos fundacionais possa combinar seus embeddings com essas features tabulares existentes. Isso acelera a ado\u00e7\u00e3o, pois podemos demonstrar rapidamente melhorias em cima de qualquer modelo existente. Para facilitar a combina\u00e7\u00e3o de embeddings e features, desenvolvemos um processo de ajuste fino de ponta a ponta, que treina uma rede neural profunda (DNN) para combinar embeddings e features tabulares enquanto ajusta conjuntamente o modelo fundacional. Essa abordagem otimiza os modelos fundacionais para qualquer tarefa subsequente espec\u00edfica e alcan\u00e7a desempenho de ponta. Tamb\u00e9m levantamos a hip\u00f3tese de que a fus\u00e3o conjunta facilita a aprendizagem de um embedding que cont\u00e9m sinais ortogonais ao que j\u00e1 \u00e9 capturado pelas features tabulares.<\/p>\n\n\n\n

Este blog post trouxe uma introdu\u00e7\u00e3o de alto n\u00edvel \u00e0 abordagem da Nubank para aproveitar modelos fundacionais para dados financeiros, transformando transa\u00e7\u00f5es brutas em insights acion\u00e1veis. Embora esses modelos se baseiem em fontes de dados padr\u00e3o usadas em toda a ind\u00fastria, eles facilitam a aprendizagem autom\u00e1tica de features informativas que podem n\u00e3o ser \u00f3bvias para cientistas de dados. Por fim, e mais importante, as features geradas por esses modelos fundacionais melhoram a capacidade da Nubank de entender seus consumidores, para que possamos ajud\u00e1-los a atender \u00e0s suas necessidades financeiras no momento certo. Em posts futuros, explicaremos com mais detalhes os aspectos-chave desse modelo.<\/p>\n\n\n\n

Resumo da s\u00e9rie<\/h2>\n\n\n\n

Se voc\u00ea chegou at\u00e9 aqui, aproveite para acessar os demais posts da s\u00e9rie e entender com mais profundidade o contexto e os detalhes t\u00e9cnicos dessa abordagem.<\/p>\n\n\n\n