El tamaño de muestra de un test A/B es el número de personas que cada variante debe recibir para que una diferencia del tamaño que importa aparezca con la confianza y la potencia definidas antes del test. La calculadora usa la fórmula clásica de comparación de dos proporciones y convierte el total en semanas completas de tráfico, para que sepas si el experimento cabe en el plazo antes de empezar.
Cómo usar
- Indica la conversión actual de la métrica que el test quiere mover.
- Define el efecto mínimo que justificaría adoptar la variante, relativo o en puntos porcentuales.
- Elige confianza, potencia, tipo de test y número de variantes (los valores estándar son 95%, 80%, bilateral y dos).
- Suma los visitantes por día que entran al experimento para ver la duración en semanas completas.
- Usa la tabla de sensibilidad para acordar con el equipo el efecto mínimo y el plazo antes de empezar.
Qué pide cada campo
| Campo | Qué completar |
|---|---|
| Conversión actual | La tasa de hoy de la métrica que el test quiere mover. |
| Efecto mínimo detectable | El menor cambio que justificaría adoptar la variante. Cuanto menor, mayor la muestra. |
| Tipo de efecto | Relativo: 10% sobre 4% da 4,4%. Absoluto: 0,5 puntos sobre 4% da 4,5%. |
| Nivel de confianza | Protege contra un falso ganador. Subirlo aumenta la muestra. |
| Potencia estadística | La probabilidad de detectar el efecto si existe de verdad. |
| Tipo de test | Bilateral detecta mejora y empeoramiento; unilateral solo mira hacia un lado. |
| Variantes (con el control) | 2 para un test A/B; 3 para A/B/C, y así sucesivamente. |
| Visitantes por día (opcional) | Quienes entran al experimento por día, sumando todas las variantes. |
Ejemplo
Una tienda en línea ficticia convierte el 4% de los visitantes y quiere probar una página de producto nueva. El equipo solo adopta el cambio si sube la conversión al menos un 10% relativo, a 4,4%. Con 95% de confianza, 80% de potencia y test bilateral, cada variante necesita 39.475 visitantes, 78.950 en total. Con 6.000 visitantes por día en el experimento, son 14 días: dos semanas completas. Para detectar un efecto de 5% harían falta 8 semanas.
Cuándo usar
- Antes de lanzar un test A/B, para saber si termina en un plazo aceptable.
- Para decidir si vale la pena probar o si el tráfico es demasiado pequeño para el efecto esperado.
- Para acordar con el equipo cuál es el menor efecto que cambiaría la decisión.
- Para explicar a quien pide un resultado rápido por qué el test necesita más semanas.
Preguntas frecuentes
¿Qué es el efecto mínimo detectable?
Es la menor diferencia entre control y variante que el test puede detectar con la potencia elegida. Defínelo por el valor de negocio: la menor ganancia que pagaría el costo del cambio. Cuanto menor el efecto, mayor la muestra, y crece con el cuadrado de la reducción.
¿Qué es la potencia estadística?
Es la probabilidad de que el test detecte un efecto que existe de verdad. Con 80% de potencia, un efecto real del tamaño elegido pasa desapercibido el 20% de las veces. Subirla a 90% reduce ese riesgo y aumenta la muestra.
¿Por qué no parar el test en cuanto sea significativo?
El cálculo supone que lees el resultado una sola vez, al final. Mirar todos los días y parar en el primer número significativo multiplica la probabilidad de un falso ganador. Fija la duración antes y respétala.
¿Por qué la duración se redondea a semanas completas?
El comportamiento cambia entre días hábiles y fin de semana. Un test que cubre solo parte de la semana mide un público distinto del real. Las semanas completas equilibran ese efecto.
¿Qué hacer cuando el tráfico es bajo?
Prueba cambios más grandes, que produzcan efectos mayores, o elige una métrica más frecuente y más cercana a la acción probada. Si aun así el test pasa de 8 semanas, prefiere métodos cualitativos o una prueba de prototipo.
¿Cómo funciona el cálculo con más de dos variantes?
Cada variante se compara con el control, y la significancia de cada comparación se divide entre el número de comparaciones para mantener el error total en el nivel elegido. Por eso cada variante extra aumenta la muestra por grupo y el total.
¿Esta calculadora es bayesiana o frecuentista?
Frecuentista: usa la aproximación normal para dos proporciones, la misma fórmula de las referencias estadísticas clásicas. Los enfoques bayesianos responden a otra pregunta (la probabilidad de que la variante sea mejor) y también necesitan una muestra suficiente para ser estables.