Significância estatística é o critério que separa uma diferença real entre variantes de uma diferença produzida pelo acaso da amostra. Num teste A/B, ela é medida pelo p-valor: a chance de observar uma diferença tão grande quanto a vista se as variantes fossem iguais. A calculadora aplica o teste de duas proporções, mostra o intervalo da diferença e confere se a amostra planejada foi atingida.
Como usar
- Escreva o controle na primeira linha e as variantes nas seguintes (até quatro no total).
- Informe visitantes e conversões de cada uma, contados no mesmo período.
- Use a mesma confiança e o mesmo tipo de teste definidos antes do experimento.
- Informe a amostra planejada por variante para saber se o teste parou antes da hora.
- Leia o veredito, o intervalo da diferença e os avisos antes de decidir.
O que cada campo pede
| Campo | O que preencher |
|---|---|
| Variante | Ex.: checkout atual |
| Visitantes | Pessoas que receberam a variante. |
| Conversões | Pessoas que converteram, no máximo igual aos visitantes. |
| Nível de confiança | O mesmo que você definiu antes do teste. |
| Tipo de teste | Bicaudal detecta melhora e piora; unicaudal só olha para a melhora. |
| Amostra planejada por variante (opcional) | O número calculado antes do teste. Serve para avisar se o teste parou cedo. |
Exemplo
Um e-commerce fictício testou mostrar o frete já na página do produto. O checkout atual teve 20.000 visitantes e 800 compras (4%); a variante teve 20.050 visitantes e 905 compras (4,51%). A variação relativa é de +12,8%, com p-valor de 0,0109: significativa com 95% de confiança. O intervalo da diferença vai de +0,12 a +0,91 ponto percentual, a divisão de tráfego está equilibrada e as duas variantes passaram dos 18.000 visitantes planejados.
Quando usar
- No fim de um teste A/B, para decidir entre adotar, iterar ou descartar a variante.
- Para revisar um resultado que alguém apresentou como vitória e conferir se ele se sustenta.
- Quando o teste tem três ou quatro variantes e é preciso controlar o erro das comparações múltiplas.
- Para checar se a divisão de tráfego entre as variantes saiu como planejada.
Perguntas frequentes
O que é o p-valor?
É a probabilidade de ver uma diferença igual ou maior que a observada se as variantes fossem iguais. Não é a probabilidade de a variante ser melhor. Abaixo do limite definido antes do teste (0,05 para 95% de confiança), o resultado é chamado de significativo.
Significativo quer dizer importante?
Não. Com amostra muito grande, diferenças minúsculas ficam significativas. Compare o intervalo da diferença com o efeito mínimo que justificaria a mudança: só ele diz se o ganho vale a pena.
Posso parar o teste assim que ficar significativo?
Não é recomendável. O p-valor supõe uma única leitura no fim da amostra planejada. Olhar todo dia e parar no primeiro resultado bom aumenta muito a chance de falso vencedor, por isso a calculadora avisa quando a amostra planejada não foi atingida.
O que significa o intervalo da diferença?
É a faixa de valores onde o efeito real provavelmente está, no mesmo nível de confiança do teste. Se o intervalo inclui zero, o teste não separou as variantes. Se é todo positivo, mas muito largo, o ganho existe com pouca precisão sobre o tamanho.
Teste unicaudal ou bicaudal?
O bicaudal detecta melhora e piora e é o padrão. O unicaudal pede menos amostra, mas só olha para a melhora: uma piora real aparece como "sem diferença". Escolha antes do teste, nunca depois de ver os dados.
Como funciona com mais de duas variantes?
A calculadora roda um teste qui-quadrado global e compara cada variante com o controle. A significância de cada comparação é dividida pelo número de comparações, para que o erro total continue no nível escolhido.
O que é o aviso de divisão de tráfego?
Se a divisão planejada era igual e os visitantes ficaram desequilibrados demais para ser acaso, algo falhou na atribuição: um redirecionamento, um filtro, um erro de registro. Nesse caso o resultado não é confiável até a causa ser encontrada.
O resultado não deu significativo. E agora?
Ausência de significância não demonstra que as variantes são iguais. Se a amostra planejada foi atingida, o efeito real é provavelmente menor que o efeito mínimo escolhido: registre o aprendizado e decida se vale testar uma mudança mais forte.