Eu gosto muito de um livro chamado Máquinas Preditivas, escrito por três economistas. Eles são precisos na explicação sobre o que é um aprendizado de máquina e por que isso é tão valioso. Simplificando, o aprendizado de máquina nos fornece previsões baratas.

Pode não soar tão impressionante, mas precisamos reconhecer que previsões estão presentes em mais lugares do que pensamos. Previsão não trata apenas do futuro (embora pudesse ser, por exemplo, se você quiser prever a demanda futura para administrar seu estoque), trata de gerar informações sobre o presente e o passado.

Isso acontece quando a previsão classifica transações de cartão de crédito como fraudulentas, um tumor em uma imagem como maligno, ou quando uma pessoa segurando um iPhone é a proprietária.

Não é diferente no Nubank.

Máquinas Preditivas no Nubank

Nós usamos máquinas preditivas para prever o assunto de uma mensagem do e-mail de um cliente, permitindo-nos encaminhá-la para o especialista em atendimento ao cliente mais adequado. Nós prevemos se alguém será inadimplente em um empréstimo antes de conceder crédito. E, é claro, usamos a previsão para descobrir se uma transação de cartão de crédito é fraudulenta.

Saber que o aprendizado de máquina trata basicamente de previsões também aprimora nossa comunicação com outras equipes. Podemos explicar que, se o problema de uma empresa pode ser rotulado como um problema de previsão, provavelmente podemos resolvê-lo. Além disso, quando dizemos que o aprendizado de máquina é um superpoder da previsão, líderes que não são da área técnica podem alocar melhor os cientistas de dados sem se deixarem levar pela empolgação de que podemos fazer todo tipo de milagre.

Check our job opportunies

Quando tudo o que você tem é um martelo…

Ver o aprendizado de máquina do ponto de vista da previsão é uma limitação poderosa. Isso nos prende a uma série específica de problemas e nos torna cientistas de dados especialistas nesse assunto. Mas não deixa de ser uma limitação. Pelo que vimos, uma empresa moderna tem inúmeros problemas que não podemos rotular como tarefas de previsão (acredito que a maioria deles).

Diversas questões que uma empresa como o Nubank precisa responder envolvem otimização de tomadas de decisão complicadas: entre um conjunto de opções possíveis, precisamos escolher a melhor forma de agir. Que limite de crédito eu deveria dar ao cliente para maximizar o valor em longo prazo (VPL)? Que taxa de juro eu deveria cobrar em um empréstimo? Quantos e-mails de marketing eu deveria mandar para maximizar a conversão sem irritar as pessoas? 

No geral, esses são problemas de tomadas de decisão com várias escolhas disponíveis, e você precisa saber qual é a melhor. Geralmente, você tem um tipo de métrica de negócios que não é possível controlar diretamente (vendas, quantidade de clientes, PNL…), mas é possível influenciar com alguma alavanca (publicidade, preço, atendimento ao cliente). Então, a questão é: como usar essa alavanca?

Primeiro, tentamos responder a essas perguntas com algo em que somos bons: modelos preditivos. Mas percebemos rapidamente que, além dessa abordagem não funcionar, ela deixou o problema mais complicado. Como nosso Diretor de Dados me disse uma vez: “quando tudo o que você tem é um martelo, tudo começa a parecer um dedo.”

Atraindo mais clientes

Para entender melhor, considere um problema que toda empresa de tecnologia tem: atrair mais clientes. 

Aqui, vamos supor que você tenha uma estratégia de marketing cara, como dar um cupom para novos usuários. Algumas pessoas irão usá-lo e se tornarão clientes de longo prazo (usuário 1, na imagem), mas outras apenas usarão o cupom e não voltarão mais (usuário 2). 

A pergunta óbvia é: para quem enviar os cupons? O que não fica tão óbvio é como responder a essa pergunta. Pode-se pensar que podemos usar um modelo de aprendizado de máquina aqui. Certo. Digamos que sim. Vamos criar um modelo altamente preciso que prevê quem permanecerá como cliente e quem não voltará. Nós usamos uma porção de recursos, árvores impulsionadas, fazemos a validação cruzada correta e administramos para conseguir um modelo que prevê, com uma altíssima AUC (área sob a curva ROC), quem permanecerá.

Então, para cada cliente novo, seu modelo fornece um número que diz quem tem mais chance de permanecer. E agora? Você ainda não respondeu à pergunta original: para quem enviar os cupons?

É melhor enviar para os clientes com mais chance de permanecer? Mas e se eles permanecerem de toda forma? Por que gastar oferecendo-lhes um cupom? Então, é melhor dar os cupons para quem é menos propenso a continuar como cliente? E se eles não permanecerem, mesmo com os cupons? Você só está desperdiçando mais dinheiro!

Se a resposta parece difícil, significa que seu modelo não está prevendo o que você quer. Seu modelo é ótimo para distinguir entre quem permanecerá e quem sairá. Mas o que você realmente quer é descobrir qual dos grupos terá o maior e o menor crescimento após receberem os cupons.

Em outras palavras, não importam as probabilidades de conversão, mas sim como elas mudam com os cupons. Vamos dar um exemplo para esclarecer. 

Máquinas preditivas: qual cliente permaneceria?

Vamos supor que você tenha dois tipos de clientes. O primeiro tipo (verde) tem uma base de conversão maior e não precisa de muitos cupons para permanecer. Já o segundo tipo (azul) tem uma base de conversão menor, e permanecerá apenas com mais cupons (ou cupons de alto valor, dependendo de como você rotula o problema). 

Seu modelo prevê a conversão de clientes. Então, se você o usar para otimizar a estratégia de cupons e fornecê-los para os clientes com a chance de conversão maior, você os estará fornecendo para vários clientes que não precisam de muitos cupons para permanecerem (verde).

E se você os der para aqueles com menores chances de conversão? Neste caso, seu público-alvo será aqueles que realmente precisam de cupons para a conversão, aí você tomará a decisão correta.

Mas perceba como isso é acidental. Aqui, o tipo com a base de conversão menor também precisa de mais cupons, mas a situação poderia ser uma em que este mesmo grupo (azul) também precisasse de menos cupons para a conversão, como na imagem abaixo. 

Nesse segundo caso, o tipo com a base de conversão maior (verde) também precisa de mais cupons para fazer diferença, enquanto o tipo com a base de conversão menor (azul) precisa de menos cupons para ser feliz. 

A lição principal aqui é que a conversão não está necessariamente distinguindo a conversão delta. Ou, em outras palavras, a conversão não está necessariamente distinguindo quanto cada cliente responderá a mais ou menos cupons.

Como consequência, usar previsões para uma tarefa de otimização como essa do exemplo pode ficar abaixo do ideal na melhor das hipóteses e muito caro no pior dos casos. Os modelos de previsão são ferramentas fascinantes, mas isso não significa que sirvam para qualquer tarefa.

Inferência causal ao resgate

Felizmente, você não precisa martelar seu dedo. Estou aqui para mostrar um caminho melhor. O truque é perceber que não é preciso estimar a conversão. Em vez disso, é preciso estimar a derivada da conversão, ou a conversão marginal, como os economistas diriam.

A conversão marginal mostra quanto uma conversão aumentará com base em um pequeno aumento nos cupons. Isso é perfeito para a otimização, pois mostra onde está o melhor custo-benefício. 

Por exemplo, o ponto onde a derivada é maximizada corresponde ao ponto na curva onde a conversão é mais acentuada. Nesse ponto, um aumento nos cupons aumentará bastante a conversão.

Há apenas um pequeno problema. As pessoas não têm sensibilidades tatuadas na testa. Ou seja, isso não é uma quantidade observável. Nós OBSERVAMOS se as pessoas se converteram ou não com uma certa quantidade de cupons, mas NÃO observamos o quão sensíveis são aos cupons. Esse é o problema fundamental da inferência causal.

Nós nunca podemos ver a mesma pessoa em dois regimes de tratamento diferentes (cupons, neste caso). A consequência é que não podemos solucionar esse problema com um modelo preditivo onde estabelecemos X como os recursos e Y como os resultados, simplesmente porque o Y que queremos, ou seja, a sensibilidade, não é observável. 

Para isso, recorremos à inferência causal, que é precisamente a técnica que podemos usar para estimar a sensibilidade (também chamada de efeito de tratamento) e responder às perguntas do tipo “e se”. A inferência causal aparece no topo da lista das ideias estatísticas mais importantes dos últimos 50 anos, uma posição bem merecida.

Interferência causal: respondendo às perguntas do tipo “e se”

Todo mundo já ouviu falar que correlação não implica em causalidade. A inferência causal nos ajuda a dizer o que acontece. É um conceito fundamental na epidemiologia e na econometria, mas está se espalhando pelo campo da Ciência de Dados. Acredito que seja porque soluciona uma imensa classe de problemas com que o aprendizado de máquinas tradicional não consegue lidar bem.

A inferência causal responde o que aconteceria se eu escolhesse “isso” em vez de “aquilo”, o que é primordial em cada ação a ser tomada ou a que pergunta de personalização precisamos responder. 

Outro fator presente em todas as unidades de negócios do Nubank é o uso de dados para descobrir o que aconteceria após as possíveis decisões que desejamos tomar. Por isso, levamos a pesquisa de inferência causal muito a sério. Precisamos saber como o padrão de gastos de um determinado tipo de cliente mudará diante de um aumento de limite, e se isso compensará o aumento do risco associado.

Temos que saber qual tipo de cliente responderá melhor a um e-mail oferecendo venda cruzada de empréstimos em comparação a um sobre investimentos. Nós nos preocupamos muito com a reação dos clientes em relação a mudanças nas taxas de juros. Tudo isso se trata de problemas causais, pois eles fazem perguntas do tipo “e se”. 

Desvendá-los é mais complexo do que jogar tudo em um pipeline de aprendizado de máquinas e obter previsões. Precisamos criar testes controlados aleatórios e bem projetados; controlar vieses que nos enganam e nos fazem encontrar causalidade onde existe apenas correlação, e usar experimentos naturais. 

A inferência causal é um assunto tão amplo e interessante que sou incapaz de abordar tudo em uma única postagem. Mas não se preocupe. Como a inferência causal tem se tornado cada vez mais relevante para a equipe de Ciência de Dados do Nubank, pode apostar que publicaremos mais artigos sobre isso. Enquanto isso, se quiser saber mais sobre esse assunto, eu selecionei uma lista de recursos interessantes (e obviamente voltada à Economia). Divirta-se!

Check our job opportunies