Além do Teste A/B: Desenhando Experimentos Quando o Espaço É Grande Demais para Explorar

Autor: Emanuel Fitta

A maioria dos praticantes aprende desenho experimental através de exemplos limpos: controle vs. tratamento, versão A vs. versão B vs. versão C, talvez um fatorial 2×2. Nesses casos, a estatística é tratável, a intuição é clara e os cálculos de tamanho de amostra são diretos. 

No entanto, muitos cenários aplicados — de fintech e saúde a operações e personalização de e-commerce — têm um espaço de decisão muito maior. Múltiplas alavancas podem assumir vários valores cada, essas escolhas podem interagir, e regulação, operações ou experiência do cliente podem descartar algumas combinações. 

O número de possibilidades cresce rapidamente, tornando estatística ou operacionalmente impraticável testar cada variante. É aqui que a teoria do desenho ótimo se torna útil e onde os exemplos de livros didáticos frequentemente deixam de ser suficientes.

O Problema Combinatório

Suponha que temos um experimento com k fatores, cada um com L níveis. Um desenho fatorial completo tem L^k combinações. Por exemplo, com 4 fatores e 5 níveis cada, há 625 combinações possíveis. Com 5 fatores e 5 níveis, isso cresce para 3.125. O espaço de desenho cresce exponencialmente, então a enumeração completa rapidamente se torna impraticável.

Uma resposta clássica é o desenho fatorial fracionado: escolher um subconjunto estruturado do fatorial completo de forma que os efeitos principais e algumas interações permaneçam estimáveis. A ideia subjacente é trocar a capacidade de estimar alguns efeitos de ordem mais alta por um experimento muito menor, preservando os efeitos que mais nos importam. Em desenhos fatoriais fracionados regulares padrão, isso cria um aliasing deliberado entre efeitos e pode produzir desenhos balanceados e ortogonais.

Desenhos fatoriais fracionados padrão funcionam de forma mais limpa em espaços de fatores regulares e sem restrições, com uma estrutura de aliasing pré-especificada. Em cenários mais irregulares, como níveis de fatores mistos, combinações proibidas, ou incerteza sobre quais interações importam, as construções clássicas podem se tornar mais difíceis de aplicar diretamente. O desenho ótimo, por outro lado, fornece um framework mais geral para esses casos complicados.

O Que o Desenho Ótimo Realmente Otimiza

Escolher um desenho requer comprometer-se com um modelo. A pergunta “Quais corridas devemos alocar?” só faz sentido em relação ao que queremos estimar. Um desenho excelente para detectar efeitos principais pode ser inútil para detectar curvatura ou interações. Então, antes de otimizar qualquer coisa, precisamos declarar como esperamos que a resposta dependa dos fatores.

Modelos lineares são um ponto de partida natural por três razões. Primeiro, em uma região experimental limitada, uma superfície de resposta suave geralmente pode ser aproximada localmente com termos lineares, adicionando interações ou termos quadráticos quando a curvatura importa. A suposição de linearidade é sobre a região que estamos estudando, não sobre o sistema em todo lugar. 

Segundo, os coeficientes se relacionam diretamente com quantidades que interessam aos praticantes: o efeito de um fator, ou o efeito adicional quando dois fatores mudam juntos. Terceiro, e crucialmente para o desenho experimental, a precisão dessas estimativas de coeficientes pode ser avaliada antes de coletarmos os dados. A menos da variância de erro desconhecida, sua covariância depende da matriz de desenho e não dos resultados que ainda não observamos. É isso que transforma a seleção do desenho em um problema de otimização em vez de um palpite.

Com isso em mente, podemos tornar o framework explícito. Cada coeficiente no modelo linear representa um fator, interação ou outro termo do modelo. Isso separa claramente duas perguntas: qual relação queremos estimar — o modelo estatístico — e como devemos alocar as corridas experimentais para estimá-la com a maior precisão possível — o desenho experimental?

Em um modelo linear, a matriz de desenho X representa o experimento: uma linha por braço experimental e uma coluna por termo do modelo. A partir dela obtemos a matriz de informação, M = X’X, que surge naturalmente em mínimos quadrados ordinários. A menos da variância de erro, M determina com que precisão os coeficientes do modelo podem ser estimados. Quando M está bem condicionada e não é singular, os coeficientes podem ser estimados com variância finita; quando é singular, pelo menos alguns parâmetros não são identificáveis separadamente a partir do desenho disponível.

Diferentes critérios de otimalidade resumem e otimizam diferentes aspectos de M [3]:

A D-otimalidade é o critério mais utilizado na prática. Ela maximiza det(M), o que, sob o modelo assumido e um tamanho de desenho fixo, minimiza o volume do elipsoide de confiança conjunto para β. Também é invariante a reparametrizações lineares não singulares, então o ranking dos desenhos não depende de uma escolha arbitrária entre parametrizações equivalentes.

A D-eficiência de um desenho é:

onde p é o número de parâmetros do modelo e n é o número de braços. Essa normalização resume a informação média por braço sob o modelo escolhido, a codificação dos fatores e o espaço de candidatos. Para medir o custo das restrições, avalia-se o mesmo critério para o desenho restrito e para um benchmark sem restrições, e então se compara os dois na mesma escala. A razão entre eles fornece uma D-eficiência relativa para o desenho restrito em relação a esse benchmark.

Encontrando Bons Desenhos Computacionalmente

Para problemas pequenos, podemos enumerar todos os desenhos possíveis e escolher o melhor. Para qualquer caso realista, o espaço é grande demais para buscar exaustivamente. Nesses casos, o algoritmo de troca de Fedorov [1] é uma abordagem computacional padrão: uma busca local greedy que melhora um desenho candidato uma troca por vez. Ele começa com um conjunto aleatório de n braços extraídos do conjunto de candidatos viável. Para cada braço no desenho atual e cada ponto candidato fora dele, o algoritmo avalia se trocar os dois melhoraria det(X’X). Ele aceita a melhor troca que melhora o critério e repete até que nenhuma troca isolada aumente o critério.

Como o algoritmo é greedy, ele pode convergir para ótimos locais; usar múltiplos reinícios aleatórios reduz esse risco. Variantes incluem o algoritmo de troca de coordenadas [2], que modifica um nível de fator por vez em vez de trocar braços completos. Em R, `optFederov()` no pacote AlgDesign [4] implementa isso diretamente: especifique o conjunto de candidatos, a fórmula do modelo e o número de braços, e o algoritmo retorna o desenho D-ótimo dentro desse espaço. Em Python, o PyOptEx fornece geração de desenhos D-ótimos através de um algoritmo de troca de coordenadas em vez do algoritmo de troca de Fedorov, suportando modelos, restrições e critérios de otimização customizados. [5].

O Problema que os Livros Didáticos Deixam de Fora: Restrições

Na prática, o conjunto de candidatos viável raramente é “todas as combinações de níveis de fatores”. Ele é reduzido por restrições operacionais, regulatórias, de experiência do cliente e de engenharia. Algumas combinações de tratamento podem ser impossíveis de executar; alguns segmentos podem não ser elegíveis para certos tratamentos; algumas sequências podem ser inaceitáveis independentemente de suas propriedades estatísticas; e o número de tratamentos que podem rodar em paralelo pode ser limitado.

As restrições afetam o desenho de duas formas. Primeiro, elas reduzem o espaço de desenho viável, então a matriz de informação fica limitada pelo que resta. Segundo — e de forma mais grave — elas podem tornar a matriz de informação singular. Isso pode acontecer quando restrições criam dependências estruturais entre os termos do modelo. Por exemplo, se o nível A na posição 3 só é viável quando o nível B está ausente nas posições 1 e 2, então a matriz de desenho X terá colunas colineares para certas especificações de modelo. O modelo que queremos ajustar pode ser literalmente não identificável a partir dos dados que temos permissão para coletar.

Quando a singularidade ocorre, o modelo precisa ser alterado se ainda quisermos coeficientes identificáveis. Isso pode significar remover termos de interação, colapsar níveis de fatores, ou simplificar a pergunta experimental até que o modelo restante seja identificável dentro do espaço restrito. Isso torna explícito o custo das restrições: alguns efeitos podem deixar de ser estimáveis separadamente. Por exemplo, suponhamos que temos dois fatores binários, A e B, e todas as quatro combinações são viáveis. Um desenho D-ótimo para estimar tanto os efeitos principais quanto a interação AB usa todas as quatro combinações, cada uma uma vez. Agora uma restrição torna (A=1, B=1) inviável. Restam três pontos candidatos. Os efeitos principais ainda são estimáveis, mas a interação AB não é: nos três pontos restantes, a coluna de interação não carrega nenhuma variação que a distinga dos demais termos do modelo, então seu coeficiente não pode ser identificado. A restrição custa a capacidade de responder a uma pergunta que antes era respondível.

A Perda de Informação É Real e Irreversível

Uma intuição comum é que restrições são um incômodo que um tamanho de amostra adicional pode compensar. Se não podemos testar todas as combinações, talvez possamos simplesmente alocar mais usuários às combinações que conseguimos testar. Isso funciona para precisão, mas não para identificabilidade.

Tamanho de amostra compra precisão dentro de um desenho. Mais usuários por ponto de desenho existente reduz a variância das nossas estimativas. No entanto, a replicação não muda o posto (rank) da matriz do modelo nem cria variação em uma direção que o desenho nunca explora. Se uma restrição cria colinearidade entre dois efeitos, nenhuma quantidade adicional de dados os separa. A informação está estruturalmente ausente, não apenas estatisticamente ruidosa.

A implicação prática é que, uma vez impostas todas as restrições necessárias e calculado o conjunto de candidatos viável, devemos ser reticentes em reduzi-lo ainda mais. Cada redução adicional pode diminuir a precisão e, no pior caso, tornar um efeito de interesse não identificável.

Um Caso Real: Um Experimento Sequencial de Cobrança

Para tornar isso concreto, considere o problema de desenho que enfrentamos ao construir o Next Best Action Foundational Test no time de engajamento de cobrança do Nubank. O objetivo era coletar dados de treinamento para um modelo que recomendaria estratégias de ação personalizadas para clientes de cartão de crédito. As ações disponíveis eram Lembretes, Aviso de Birô, Aviso de Bloqueio de Cartão de Crédito, Ação de Bloqueio de Cartão de Crédito, e Nenhuma ação. Os clientes passam por até quatro janelas de tempo sequenciais; em cada uma, o time seleciona uma das cinco ações. O espaço sem restrições é 5^4 = 625 sequências possíveis.

Após aplicar restrições de negócio (regras sobre quais sequências de ações são operacionalmente proibidas ou logicamente inconsistentes), restaram 175 combinações viáveis, de um total de 625. As restrições, isoladamente, removeram 72% do conjunto de candidatos. Isso reduziu drasticamente a variação disponível para identificar efeitos no modelo.

Modelamos os efeitos principais de cada ação nas três primeiras posições como estimandos primários. A quarta posição não pôde ser adicionada como um termo independente do modelo sem causar deficiência de posto na matriz de informação: nessa configuração, sua atribuição era determinística dadas as decisões nas posições anteriores. Em vez disso, tratamos a quarta posição como um objetivo secundário: maximizar a cobertura empírica entre suas condições dentro do conjunto viável.

Executar `optFederov()` sobre todos os 175 candidatos viáveis em relação ao modelo de efeitos principais para as três primeiras posições retornou consistentemente um desenho que incluía todas as 175 combinações. Esse não foi um resultado pré-especificado; ele emergiu da otimização. Em nossa configuração, o desenho otimizado, portanto, não recomendou reduzir ainda mais o conjunto de candidatos viável. Sob o modelo escolhido, as restrições e a especificação de tamanho do desenho, reduzir o conjunto diminuiria o critério de desenho em vez de melhorá-lo.

Isso pode parecer surpreendente, já que o desenho ótimo é frequentemente associado à redução do número de corridas experimentais. Aqui, no entanto, a otimização não revelou um subconjunto menor com melhor D-eficiência sob a configuração utilizada.

O desenho resultante teve uma D-eficiência de 0,75 em relação ao benchmark sem restrições usado na análise. Nessa comparação, o desenho restrito reteve 75% da D-eficiência do benchmark. A diferença restante quantifica o custo de eficiência associado às regras de negócio sob esse modelo e benchmark.

A lição mais ampla não é que desenhos D-ótimos restritos sempre usarão todos os pontos viáveis. Restrições de negócio podem remover tanta flexibilidade que reduzir ainda mais o conjunto se torna custoso sob o modelo alvo. O conjunto de candidatos deve, portanto, ser reduzido somente após medir o que essa redução faz ao critério de desenho e à identificabilidade.

O Que Isso Significa para os Praticantes

Três regras vale a pena ter em mente ao desenhar experimentos restritos:

Não reduza o conjunto de candidatos sem analisar o custo. Cada combinação removida pode reduzir a precisão e, em alguns casos, eliminar a identificabilidade de um efeito de interesse. Calcule a D-eficiência antes e depois da redução proposta, e seja explícito sobre quais efeitos estão sendo sacrificados.

Restrições não são gratuitas, e quantificar seu custo importa. Antes que um stakeholder adicione uma restrição, avalie como isso muda a D-eficiência e o posto ou a estimabilidade do modelo alvo. Às vezes o custo é insignificante; às vezes torna um efeito-chave não identificável. Torne o trade-off visível em vez de absorvê-lo silenciosamente no desenho.

Use o modelo como insumo para o desenho. Desenhos D-ótimos dependem do modelo: o que é ótimo para um modelo de efeitos principais difere do que é ótimo para um modelo com interações de duas vias. Seja claro sobre qual modelo o desenho tem como alvo, e lembre-se de que o desenho não oferece garantia de boa estimação para termos que o modelo não priorizou.

Conclusão

O teste A/B padrão é a ferramenta certa para uma classe específica de problemas: espaços de desenho pequenos, poucos braços de tratamento, sem restrições estruturais. Para essa classe, ele continua sendo a ferramenta certa.

Muitos problemas reais não pertencem a essa classe. Decisões sequenciais, espaços multifatoriais e restrições de negócio levam os experimentadores além dos testes A/B simples e das configurações fatoriais padrão. O desenho D-ótimo fornece o ferramental teórico e computacional para lidar com esses casos, junto com uma linguagem para entender o que nossas restrições estão custando.

A mensagem central é simples: quando não podemos testar tudo, a escolha do que testar não é administrativa; é estatística. Errar nessa escolha não significa apenas menor poder estatístico; pode tornar algumas perguntas estruturalmente irrespondíveis a partir do desenho resultante.

Quando as restrições já removeram grande parte do espaço de candidatos, o melhor desenho pode ser menos esparso do que o esperado — e em alguns casos pode usar todas as combinações viáveis. O ponto importante é deixar que o modelo e o critério de desenho determinem se uma redução adicional é justificada. As restrições já impõem um custo estatístico; não adicione outro sem medi-lo.