Um plano de experimento é o documento que fixa, antes do teste, tudo o que poderia ser ajustado depois para favorecer um resultado: a hipótese, a métrica principal, as métricas de proteção, a unidade de aleatorização, a amostra, a duração e a regra que decide entre adotar, iterar ou parar. Escrever o plano antes protege o time de ler os dados conforme a conveniência.
Como usar
- Escreva a hipótese, ou importe a que você montou no gerador de hipóteses.
- Defina uma métrica principal e as métricas de proteção que não podem piorar.
- Escolha a unidade de aleatorização, o público e as variantes.
- Informe valor atual, efeito mínimo e tráfego para calcular amostra e duração.
- Marque as ameaças à validade já tratadas e combine a regra de decisão com quem decide.
O que cada campo pede
| Campo | O que preencher |
|---|---|
| Hipótese | A aposta que o experimento vai testar: mudança, público e resultado. |
| Métrica principal | Uma só: é ela que decide o resultado. |
| Métricas de proteção | O que não pode piorar enquanto a principal melhora. |
| Unidade de aleatorização | O que é sorteado para cada variante. Deve combinar com a métrica. |
| Público do experimento | Quem entra no teste e quem fica de fora. |
| Variantes | Uma por linha, começando pelo controle. Até quatro. |
| Valor atual da métrica (opcional) | Em porcentagem. Com o efeito mínimo, calcula a amostra. |
| Efeito mínimo (opcional) | Em % relativo: a menor melhora que justificaria a mudança. |
| Visitantes por dia (opcional) | Quem entra no experimento por dia, somando as variantes. |
| Nível de confiança | Protege contra falso vencedor. |
| Poder estatístico | Chance de detectar o efeito se ele existir. |
| Prazo máximo em semanas (opcional) | Quanto tempo o negócio aceita esperar pela resposta. |
| Ameaças já tratadas | Marque o que o plano já cobre. O resto vira pendência. |
Exemplo
Uma loja virtual fictícia planeja testar o frete estimado na página do produto. A métrica principal é a conversão do carrinho em compra (hoje 4%), com ticket médio e taxa de devolução como proteção, sorteio por usuário e duas variantes. Para detectar uma melhora de 15% (de 4% para 4,6%), o plano pede 17.943 pessoas por variante, 35.886 no total: com 3.000 visitantes por dia, duas semanas completas, dentro do prazo de quatro. Duas ameaças ficam como pendência: data atípica e contaminação entre grupos.
Quando usar
- Antes de pedir ao time de engenharia que implemente as variantes de um teste A/B.
- Para alinhar com liderança e áreas parceiras o que conta como sucesso antes de ver os dados.
- Quando um teste anterior gerou discussão sobre o que o resultado significava.
- Para registrar o desenho do experimento junto com a decisão tomada no fim.
Perguntas frequentes
O que entra num plano de experimento?
Hipótese, métrica principal, métricas de proteção, unidade de aleatorização, público, variantes, amostra, duração, regra de decisão e ameaças à validade. Tudo definido antes de o teste começar.
O que são métricas de proteção?
São as métricas que não podem piorar enquanto a principal melhora, como ticket médio, devoluções ou chamados de suporte. Elas evitam declarar vitória numa mudança que transfere o prejuízo para outro lugar.
Como escolher a unidade de aleatorização?
Sorteie o que corresponde à métrica: se a métrica é por pessoa, sorteie por usuário; se é por empresa cliente, por conta. Sortear por sessão quando a métrica é por pessoa deixa a mesma pessoa ver as duas variantes e mistura os efeitos.
Por que definir a regra de decisão antes?
Depois de ver os dados, sempre aparece uma leitura que favorece a opção preferida. Com a regra escrita antes (adotar, iterar ou parar), a decisão segue o critério combinado e não a vontade do dia.
Quais são as principais ameaças à validade?
Instrumentação errada, divisão de tráfego desequilibrada, parar o teste cedo, efeito de novidade, datas atípicas, contaminação entre grupos e tráfego de robôs. O checklist mostra quais o plano já cobre e quais ficam como pendência.
E se o teste não couber no prazo?
Aumente o efeito mínimo, coloque mais tráfego no experimento ou escolha uma métrica mais sensível, mais perto da mudança. Se nada disso basta, um teste A/B não é o método certo: prefira um protótipo ou uma pesquisa qualitativa.