{"id":35127,"date":"2025-11-25T13:34:31","date_gmt":"2025-11-25T16:34:31","guid":{"rendered":"https:\/\/building.nu.com\/?p=35127"},"modified":"2025-11-26T18:23:44","modified_gmt":"2025-11-26T21:23:44","slug":"3-licoes-da-implementacao-do-experimento-controlado-usando-dados-pre-experimento-cuped-no-nubank","status":"publish","type":"post","link":"https:\/\/building.nu.com\/pt-br\/3-licoes-da-implementacao-do-experimento-controlado-usando-dados-pre-experimento-cuped-no-nubank\/","title":{"rendered":"3 Li\u00e7\u00f5es da Implementa\u00e7\u00e3o do Experimento Controlado Usando Dados Pr\u00e9-Experimento (CUPED) no Nubank"},"content":{"rendered":"\n

Autores: O time de Data Science da Experimentation Platform do Nubank \u00e9 composto por Abel Borges, Brando Morais, Lu\u00eds Assun\u00e7\u00e3o, Paulo Rossi e Ramon Vilarino (em ordem alfab\u00e9tica).
Nenhuma funcionalidade da plataforma seria poss\u00edvel sem o apoio de todo o squad \u2014 um agradecimento especial a Thiago Nunes (PM), Thiago Parreiras (Product Lead) e Miguel Bitarello (Engineering Lead).<\/em><\/p>\n\n\n\n

<\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Introdu\u00e7\u00e3o<\/h2>\n\n\n\n

O teste A\/B \u00e9 um pilar do desenvolvimento de produtos no Nubank, permitindo-nos tomar decis\u00f5es baseadas em dados ao comparar diferentes vers\u00f5es de um produto ou funcionalidade para ver qual tem um melhor desempenho. Essa abordagem rigorosa garante que cada mudan\u00e7a que implementamos seja apoiada por evid\u00eancias emp\u00edricas, levando \u00e0 melhoria cont\u00ednua e a uma experi\u00eancia superior para o usu\u00e1rio.<\/p>\n\n\n\n

No entanto, um desafio persistente na experimenta\u00e7\u00e3o \u00e9 a quest\u00e3o da sensibilidade do experimento. Muitas vezes, os efeitos que pretendemos medir s\u00e3o sutis ou pequenos, tornando-os dif\u00edceis de detectar com signific\u00e2ncia estat\u00edstica. Essa limita\u00e7\u00e3o pode atrapalhar nossa capacidade de identificar mudan\u00e7as e otimizar nossos produtos de forma eficaz. Para superar isso, nossa equipe embarcou em uma jornada para explorar t\u00e9cnicas avan\u00e7adas de redu\u00e7\u00e3o de vari\u00e2ncia para melhorar o poder estat\u00edstico.<\/a><\/p>\n\n\n\n

Melhorar o poder estat\u00edstico se traduz diretamente em um aumento da precis\u00e3o para nossas estimativas, o que, por sua vez, reduz a dura\u00e7\u00e3o dos experimentos. Isso permite uma intera\u00e7\u00e3o mais r\u00e1pida e segura.<\/p>\n\n\n\n

Entre as abordagens que investigamos, o “Experimento Controlado Usando Dados Pr\u00e9-Experimento” (CUPED) se destacou. O CUPED \u00e9 um m\u00e9todo estat\u00edstico que aproveita os dados anteriores ao experimento para reduzir a variabilidade das m\u00e9tricas-chave. Ao considerar as diferen\u00e7as de baseline (linha de base) entre as unidades experimentais, o CUPED pode melhorar significativamente o poder estat\u00edstico de nossos experimentos, tornando mais f\u00e1cil detectar efeitos ainda menores, mas que s\u00e3o significativos.<\/p>\n\n\n\n

Este artigo compartilha as 3 li\u00e7\u00f5es principais que aprendemos com o processo desafiador, mas gratificante, de implementar o CUPED dentro da robusta plataforma de experimenta\u00e7\u00e3o do Nubank. Esses insights (percep\u00e7\u00f5es\/aprendizados) oferecem uma orienta\u00e7\u00e3o valiosa para qualquer organiza\u00e7\u00e3o que deseje aumentar a precis\u00e3o e a efici\u00eancia ao escalar seus esfor\u00e7os de teste A\/B.<\/p>\n\n\n\n

Contexto<\/h2>\n\n\n\n

O CUPED foi introduzido, pela primeira vez, pelos pesquisadores da Microsoft Deng e outros (2013)<\/a> e tem sido amplamente utilizado em empresas como Netflix, Booking, Eppo, Walmart e muitas outras. Notas de outros pesquisadores ((Lin (2013)<\/a>, Deng e Hu (2015)<\/a>, Deng e outros (2023)<\/a>) destacam a rela\u00e7\u00e3o do CUPED com a regress\u00e3o linear, e como diferentes suposi\u00e7\u00f5es no CUPED se mapeiam para diferentes especifica\u00e7\u00f5es de regress\u00e3o.<\/p>\n\n\n\n

Suponha que nosso experimento tenha uma m\u00e9trica-alvo Y que \u00e9 calculada usando todos os eventos para um determinado cliente ap\u00f3s ele ser exposto ao experimento. Estamos interessados em estimar o Efeito M\u00e9dio do Tratamento (ATE), ent\u00e3o calculamos a diferen\u00e7a nas m\u00e9dias entre o tratamento e o controle,<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

onde \u0394 \u00e9 um estimador n\u00e3o tendencioso do ATE. Suponha que somos capazes de calcular uma vari\u00e1vel X usando eventos que ocorreram antes da exposi\u00e7\u00e3o do cliente ao experimento. Com isso, podemos escrever:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

onde \u03b8 \u00e9 um par\u00e2metro escalar. Uma vez que os sujeitos foram designados aleatoriamente entre os grupos de controle e tratamento, E(Xt) -E(Xc)= 0 e, portanto, \u0394 adjusted<\/sub> tamb\u00e9m \u00e9 um estimador n\u00e3o enviesado do ATE.<\/p>\n\n\n\n

O objetivo \u00e9 escolher um valor para \u03b8 que reduza a vari\u00e2ncia do resultado \u0394 adjustedo<\/sub> m\u00e1ximo poss\u00edvel. Usando a express\u00e3o para a vari\u00e2ncia da combina\u00e7\u00e3o linear de duas vari\u00e1veis aleat\u00f3rias, podemos expandir a vari\u00e2ncia para \u0394adjusted<\/sub>:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Ao igualar sua primeira derivada a zero, podemos determinar o valor \u00f3timo, \u03b8*, que minimiza essa vari\u00e2ncia:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

E finalmente temos:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Uma escolha natural para X s\u00e3o as medi\u00e7\u00f5es de Y antes da exposi\u00e7\u00e3o; por exemplo, m\u00e9tricas transacionais chave para um banco geralmente apresentam uma forte correla\u00e7\u00e3o serial (ou seja, correla\u00e7\u00e3o da m\u00e9trica com ela mesma no passado). No entanto, esta demonstra\u00e7\u00e3o se aplica a qualquer covari\u00e1vel.<\/p>\n\n\n\n

Note que, se escrevemos \u03b8* em termos das covari\u00e2ncias entre as observa\u00e7\u00f5es das unidades, em vez de entre m\u00e9dias, ent\u00e3o podemos escrever:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

\u200b<\/p>\n\n\n\n

onde \u03b8c<\/sub>= Cov(Xc,,Yc)\/Var(Xc)\u200b\u200b e \u03b8t<\/sub> =Cov(Xt,,Yt)\/Var(Xt)\u200b\u200b. Em outras palavras, \u00e9 uma m\u00e9dia ponderada de dois par\u00e2metros de cada grupo em termos de suas vari\u00e2ncias amostrais. <\/p>\n\n\n\n

Note que \u03b8 e \u03b8 s\u00e3o coeficientes de regress\u00f5es lineares simples por grupo, e \u03b8* \u00e9 uma combina\u00e7\u00e3o de ambos. Mais detalhes podem ser encontrados em Lin, Se\u00e7\u00e3o 2 (ou 3).<\/p>\n\n\n\n

Li\u00e7\u00e3o 1: Esteja ciente de vari\u00e2ncias desiguais. <\/h2>\n\n\n\n

Quando os grupos de controle e tratamento t\u00eam o mesmo tamanho, \u03b8* pode ser aproximado a partir de estat\u00edsticas agrupadas (pooled statistics<\/em>), conforme descrito em Deng et al. (2013)<\/a>:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

o que resulta em um agrupamento \u0394pooled<\/sub>. No entanto, quando os grupos do experimento t\u00eam tamanhos de amostra diferentes<\/strong> (nc<\/sub> \u2260 nt<\/sub>) e o tratamento altera a correla\u00e7\u00e3o serial da m\u00e9trica<\/strong> (Cov(Xc<\/sub>,Yc<\/sub>) \u2260 Cov(Xt<\/sub>,Yt<\/sub>) ), a vari\u00e2ncia do  \u0394pooled<\/sub> pode ser maior do que a vari\u00e2ncia do estimador ing\u00eanuo \u0394.<\/p>\n\n\n\n

Ao simular cen\u00e1rios com grupos altamente desiguais (divis\u00e3o de 90%\/10%) e a covari\u00e2ncia do grupo de tratamento tr\u00eas vezes maior do que a do controle, as distribui\u00e7\u00f5es do ATE demonstram efici\u00eancia reduzida com uma estimativa agrupada, como ilustrado no gr\u00e1fico abaixo.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

No Nubank, inicialmente implementamos o CUPED estimando \u03b8pooledpara<\/sub> cada par de variantes em todos os experimentos. No entanto, executamos m\u00faltiplos experimentos que violam as suposi\u00e7\u00f5es desse estimador original. Lin (2013) demonstrou que \u0394*adjusted<\/sub> \u00e9 pelo menos t\u00e3o eficiente quanto tanto o  quanto \u0394pooled<\/sub>. Seguindo suas conclus\u00f5es, avaliamos se essa mudan\u00e7a seria significativa para nossas m\u00e9tricas e decidimos alterar nossa implementa\u00e7\u00e3o para usar \u03b8*. Embora pare\u00e7a uma mudan\u00e7a menor, essa altera\u00e7\u00e3o melhorou significativamente a robustez e a precis\u00e3o de nossas an\u00e1lises, levando a conclus\u00f5es experimentais mais confi\u00e1veis.<\/p>\n\n\n\n

Li\u00e7\u00e3o 2: Como Definimos uma Janela de Lookback<\/em> Padr\u00e3o de 42 Dias<\/strong><\/h2>\n\n\n\n

Seguindo a decomposi\u00e7\u00e3o de *\u03b8 como uma soma ponderada de coeficientes do tipo \u03b8 dentro de cada grupo, a vari\u00e2ncia de *\u0394adjusted<\/sub> pode ser reformulada como uma fun\u00e7\u00e3o dos desvios padr\u00e3o da m\u00e9trica e das correla\u00e7\u00f5es seriais (pt<\/sub>, pc<\/sub>) entre suas vers\u00f5es p\u00f3s e pr\u00e9-exposi\u00e7\u00e3o, com
\u03c0 \u2208 (0,1) sendo a taxa de amostragem do grupo de tratamento:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n


Observe que quanto maior a correla\u00e7\u00e3o entre as m\u00e9tricas p\u00f3s-exposi\u00e7\u00e3o e pr\u00e9-exposi\u00e7\u00e3o em termos absolutos, maior ser\u00e1 a redu\u00e7\u00e3o de vari\u00e2ncia. Conforme observado na se\u00e7\u00e3o de contexto, um m\u00e9todo direto \u00e9 definir X igual a Y no passado, o que naturalmente leva ao uso da mesma vari\u00e1vel como a vari\u00e1vel de controle<\/em> durante a janela de observa\u00e7\u00e3o pr\u00e9-experimento. No entanto, isso levanta a quest\u00e3o: Como podemos determinar o per\u00edodo ideal de agrega\u00e7\u00e3o de m\u00e9tricas pr\u00e9-experimento para o CUPED?<\/strong><\/p>\n\n\n\n

O Nubank oferece um portf\u00f3lio diversificado de produtos e servi\u00e7os, que variam desde suas ofertas fundamentais de cart\u00e3o de cr\u00e9dito at\u00e9 seu crescente marketplace<\/em> de compras. Dada essa diversidade inerente, cada produto opera em seu pr\u00f3prio mercado distinto e visa um segmento diferente da base de clientes. Por exemplo, a sazonalidade de um usu\u00e1rio que procura voos em nosso marketplace<\/em> \u00e9 muito diferente daquela de quem investe em ativos de criptomoeda.<\/p>\n\n\n\n

Idealmente, cada m\u00e9trica e experimento teriam sua pr\u00f3pria janela pr\u00e9-experimento. No entanto, esse n\u00edvel de flexibilidade e overhead<\/em> de implementa\u00e7\u00e3o n\u00e3o \u00e9 totalmente vi\u00e1vel em nossa plataforma. Portanto, escolhemos uma janela gen\u00e9rica que capturasse adequadamente a maior parte do comportamento passado do usu\u00e1rio sem aumentar significativamente os custos de pipeline<\/em>.<\/p>\n\n\n\n

Para isso, realizamos diversas simula\u00e7\u00f5es, mostrando os sujeitos de nossos experimentos com tamanhos de amostra e dura\u00e7\u00f5es variadas. Essa abordagem nos permitiu incorporar dados simulados com efeitos de tratamento reais para obter a janela ideal. Nossa an\u00e1lise se concentrou em janelas de tempo que eram m\u00faltiplos exatos de sete, capturando e abordando os padr\u00f5es semanais presentes nos dados.<\/p>\n\n\n\n

Os resultados m\u00e9dios da redu\u00e7\u00e3o da vari\u00e2ncia, apresentados em fun\u00e7\u00e3o da janela de retrospectiva, s\u00e3o detalhados abaixo.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Selecionamos uma janela de <\/strong>lookback<\/em><\/strong> fixa de 42 dias<\/strong> para nossa an\u00e1lise devido ao seu desempenho equilibrado em todas as m\u00e9tricas e experimentos. Este per\u00edodo de tempo apresentou um bom trade-off (compromisso) entre a vari\u00e2ncia minimizada e o gerenciamento dos custos computacionais do nosso pipeline de m\u00e9tricas. Tamb\u00e9m descobrimos que uma janela de 42 dias \u00e9 suficiente para capturar a din\u00e2mica m\u00e9dia dos neg\u00f3cios, em particular, englobando pelo menos um ciclo de faturamento de cart\u00e3o de cr\u00e9dito, garantindo uma vis\u00e3o abrangente do comportamento e da atividade financeira do cliente.<\/p>\n\n\n\n

No entanto, o impacto real do CUPED varia significativamente em nosso ecossistema diversificado. O gr\u00e1fico abaixo ilustra a distribui\u00e7\u00e3o da redu\u00e7\u00e3o de vari\u00e2ncia que observamos na pr\u00e1tica em centenas de m\u00e9tricas em milhares de diferentes compara\u00e7\u00f5es de experimentos.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Essa distribui\u00e7\u00e3o revela algumas percep\u00e7\u00f5es importantes:<\/p>\n\n\n\n