O tamanho de amostra de um teste A/B é o número de pessoas que cada variante precisa receber para que uma diferença do tamanho que importa apareça com a confiança e o poder definidos antes do teste. A calculadora usa a fórmula clássica de comparação de duas proporções e converte o total em semanas completas de tráfego, para você saber se o experimento cabe no prazo antes de começar.
Como usar
- Informe a conversão atual da métrica que o teste quer mover.
- Defina o efeito mínimo que justificaria adotar a variante, relativo ou em pontos percentuais.
- Escolha confiança, poder, tipo de teste e número de variantes (os padrões são 95%, 80%, bicaudal e duas).
- Some os visitantes por dia que entram no experimento para ver a duração em semanas completas.
- Use a tabela de sensibilidade para negociar o efeito mínimo e o prazo com o time antes de começar.
O que cada campo pede
| Campo | O que preencher |
|---|---|
| Conversão atual | A taxa de hoje da métrica que o teste quer mover. |
| Efeito mínimo detectável | A menor mudança que justificaria adotar a variante. Quanto menor, maior a amostra. |
| Tipo de efeito | Relativo: 10% sobre 4% dá 4,4%. Absoluto: 0,5 ponto sobre 4% dá 4,5%. |
| Nível de confiança | Protege contra falso vencedor. Subir aumenta a amostra. |
| Poder estatístico | Chance de detectar o efeito se ele existir de verdade. |
| Tipo de teste | Bicaudal detecta melhora e piora; unicaudal só olha para um lado. |
| Variantes (com o controle) | 2 para um teste A/B; 3 para A/B/C, e assim por diante. |
| Visitantes por dia (opcional) | Quem entra no experimento por dia, somando todas as variantes. |
Exemplo
Uma loja virtual fictícia converte 4% dos visitantes e quer testar uma página de produto nova. O time só adota a mudança se ela subir a conversão em pelo menos 10% relativos, para 4,4%. Com 95% de confiança, 80% de poder e teste bicaudal, cada variante precisa de 39.475 visitantes, 78.950 no total. Com 6.000 visitantes por dia no experimento, são 14 dias: duas semanas completas. Para detectar um efeito de 5%, seriam necessárias 8 semanas.
Quando usar
- Antes de lançar um teste A/B, para saber se ele termina num prazo aceitável.
- Para decidir se vale testar ou se o tráfego é pequeno demais para o efeito esperado.
- Para combinar com o time qual é o menor efeito que mudaria a decisão.
- Para explicar a quem pede resultado rápido por que o teste precisa de mais semanas.
Perguntas frequentes
O que é o efeito mínimo detectável?
É a menor diferença entre controle e variante que o teste consegue detectar com o poder escolhido. Defina pelo valor de negócio: o menor ganho que pagaria o custo da mudança. Quanto menor o efeito, maior a amostra, e ela cresce com o quadrado da redução.
O que é poder estatístico?
É a chance de o teste detectar um efeito que existe de verdade. Com 80% de poder, um efeito real do tamanho escolhido passa despercebido em 20% das vezes. Subir para 90% reduz esse risco e aumenta a amostra.
Por que não parar o teste assim que der significativo?
O cálculo supõe que você lê o resultado uma única vez, no fim. Olhar todo dia e parar no primeiro número significativo multiplica a chance de falso vencedor. Fixe a duração antes e respeite-a.
Por que a duração é arredondada para semanas completas?
O comportamento muda entre dias úteis e fim de semana. Um teste que pega só parte da semana mede um público diferente do real. Semanas completas equilibram esse efeito.
O que fazer quando o tráfego é pequeno?
Teste mudanças maiores, que produzam efeitos maiores, ou escolha uma métrica mais frequente, mais perto da ação testada. Se mesmo assim o teste passar de 8 semanas, prefira métodos qualitativos ou um teste de protótipo.
Como fica o cálculo com mais de duas variantes?
Cada variante é comparada com o controle, e a significância de cada comparação é dividida pelo número de comparações para manter o erro total no nível escolhido. Por isso cada variante extra aumenta a amostra por grupo e o total.
Esta calculadora é bayesiana ou frequentista?
Frequentista: usa a aproximação normal para duas proporções, a mesma fórmula das referências estatísticas clássicas. Abordagens bayesianas respondem a outra pergunta (a probabilidade de a variante ser melhor) e também exigem amostra suficiente para serem estáveis.