La significancia estadística es el criterio que separa una diferencia real entre variantes de una diferencia producida por el azar de la muestra. En un test A/B se mide con el p-valor: la probabilidad de observar una diferencia tan grande como la vista si las variantes fueran iguales. La calculadora aplica el test de dos proporciones, muestra el intervalo de la diferencia y verifica si se alcanzó la muestra planificada.
Cómo usar
- Escribe el control en la primera fila y las variantes en las siguientes (hasta cuatro en total).
- Indica visitantes y conversiones de cada una, contados en el mismo período.
- Usa la misma confianza y el mismo tipo de test definidos antes del experimento.
- Indica la muestra planificada por variante para saber si el test paró antes de tiempo.
- Lee el veredicto, el intervalo de la diferencia y los avisos antes de decidir.
Qué pide cada campo
| Campo | Qué completar |
|---|---|
| Variante | Ej.: checkout actual |
| Visitantes | Personas que recibieron la variante. |
| Conversiones | Personas que convirtieron, como máximo igual a los visitantes. |
| Nivel de confianza | El mismo que definiste antes del test. |
| Tipo de test | Bilateral detecta mejora y empeoramiento; unilateral solo mira la mejora. |
| Muestra planificada por variante (opcional) | El número calculado antes del test. Sirve para avisar si el test paró antes de tiempo. |
Ejemplo
Un comercio electrónico ficticio probó mostrar el costo de envío en la página del producto. El checkout actual tuvo 20.000 visitantes y 800 compras (4%); la variante tuvo 20.050 visitantes y 905 compras (4,51%). La variación relativa es de +12,8%, con p-valor de 0,0109: significativa con 95% de confianza. El intervalo de la diferencia va de +0,12 a +0,91 puntos porcentuales, la división del tráfico está equilibrada y las dos variantes superaron los 18.000 visitantes planificados.
Cuándo usar
- Al final de un test A/B, para decidir entre adoptar, iterar o descartar la variante.
- Para revisar un resultado que alguien presentó como victoria y comprobar si se sostiene.
- Cuando el test tiene tres o cuatro variantes y hay que controlar el error de las comparaciones múltiples.
- Para verificar si la división del tráfico entre las variantes salió como se planificó.
Preguntas frecuentes
¿Qué es el p-valor?
Es la probabilidad de ver una diferencia igual o mayor que la observada si las variantes fueran iguales. No es la probabilidad de que la variante sea mejor. Por debajo del límite definido antes del test (0,05 para 95% de confianza), el resultado se llama significativo.
¿Significativo quiere decir importante?
No. Con una muestra muy grande, diferencias minúsculas se vuelven significativas. Compara el intervalo de la diferencia con el efecto mínimo que justificaría el cambio: solo eso dice si la ganancia vale la pena.
¿Puedo parar el test en cuanto sea significativo?
No es recomendable. El p-valor supone una única lectura al final de la muestra planificada. Mirar todos los días y parar en el primer buen resultado aumenta mucho la probabilidad de un falso ganador, por eso la calculadora avisa cuando no se alcanzó la muestra planificada.
¿Qué significa el intervalo de la diferencia?
Es el rango de valores donde probablemente está el efecto real, con el mismo nivel de confianza del test. Si el intervalo incluye el cero, el test no separó las variantes. Si es todo positivo pero muy ancho, la ganancia existe con poca precisión sobre su tamaño.
¿Test unilateral o bilateral?
El bilateral detecta mejora y empeoramiento y es el estándar. El unilateral pide menos muestra, pero solo mira la mejora: un empeoramiento real aparece como "sin diferencia". Elige antes del test, nunca después de ver los datos.
¿Cómo funciona con más de dos variantes?
La calculadora corre un test chi-cuadrado global y compara cada variante con el control. La significancia de cada comparación se divide entre el número de comparaciones, para que el error total se mantenga en el nivel elegido.
¿Qué es el aviso de división del tráfico?
Si la división planificada era igual y los visitantes quedaron demasiado desequilibrados para ser azar, algo falló en la asignación: una redirección, un filtro, un error de registro. En ese caso el resultado no es confiable hasta encontrar la causa.
El resultado no fue significativo. ¿Y ahora?
La ausencia de significancia no prueba que las variantes sean iguales. Si se alcanzó la muestra planificada, el efecto real probablemente es menor que el efecto mínimo elegido: registra el aprendizaje y decide si vale probar un cambio más fuerte.