Un plan de experimento es el documento que fija, antes del test, todo lo que podría ajustarse después para favorecer un resultado: la hipótesis, la métrica principal, las métricas de protección, la unidad de aleatorización, la muestra, la duración y la regla que decide entre adoptar, iterar o parar. Escribir el plan antes protege al equipo de leer los datos según su conveniencia.
Cómo usar
- Escribe la hipótesis, o importa la que armaste en el generador de hipótesis.
- Define una métrica principal y las métricas de protección que no pueden empeorar.
- Elige la unidad de aleatorización, el público y las variantes.
- Indica valor actual, efecto mínimo y tráfico para calcular muestra y duración.
- Marca las amenazas a la validez ya tratadas y acuerda la regla de decisión con quien decide.
Qué pide cada campo
| Campo | Qué completar |
|---|---|
| Hipótesis | La apuesta que el experimento va a probar: cambio, público y resultado. |
| Métrica principal | Una sola: es la que decide el resultado. |
| Métricas de protección | Lo que no puede empeorar mientras la principal mejora. |
| Unidad de aleatorización | Lo que se sortea para cada variante. Debe coincidir con la métrica. |
| Público del experimento | Quién entra al test y quién queda fuera. |
| Variantes | Una por línea, empezando por el control. Hasta cuatro. |
| Valor actual de la métrica (opcional) | En porcentaje. Con el efecto mínimo, calcula la muestra. |
| Efecto mínimo (opcional) | En % relativo: la menor mejora que justificaría el cambio. |
| Visitantes por día (opcional) | Quienes entran al experimento por día, sumando las variantes. |
| Nivel de confianza | Protege contra un falso ganador. |
| Potencia estadística | La probabilidad de detectar el efecto si existe. |
| Plazo máximo en semanas (opcional) | Cuánto tiempo acepta esperar el negocio por la respuesta. |
| Amenazas ya tratadas | Marca lo que el plan ya cubre. El resto queda como pendiente. |
Ejemplo
Una tienda en línea ficticia planea probar el envío estimado en la página del producto. La métrica principal es la conversión del carrito en compra (hoy 4%), con ticket promedio y tasa de devolución como protección, sorteo por usuario y dos variantes. Para detectar una mejora de 15% (de 4% a 4,6%), el plan pide 17.943 personas por variante, 35.886 en total: con 3.000 visitantes por día, dos semanas completas, dentro del plazo de cuatro. Dos amenazas quedan pendientes: fechas atípicas y contaminación entre grupos.
Cuándo usar
- Antes de pedir al equipo de ingeniería que implemente las variantes de un test A/B.
- Para acordar con el liderazgo y las áreas socias qué cuenta como éxito antes de ver los datos.
- Cuando un test anterior generó discusión sobre qué significaba el resultado.
- Para registrar el diseño del experimento junto con la decisión tomada al final.
Preguntas frecuentes
¿Qué incluye un plan de experimento?
Hipótesis, métrica principal, métricas de protección, unidad de aleatorización, público, variantes, muestra, duración, regla de decisión y amenazas a la validez. Todo definido antes de que empiece el test.
¿Qué son las métricas de protección?
Son las métricas que no pueden empeorar mientras la principal mejora, como el ticket promedio, las devoluciones o los tickets de soporte. Evitan declarar victoria en un cambio que traslada la pérdida a otro lugar.
¿Cómo elegir la unidad de aleatorización?
Sortea lo que corresponde a la métrica: si la métrica es por persona, sortea por usuario; si es por empresa cliente, por cuenta. Sortear por sesión cuando la métrica es por persona deja que la misma persona vea las dos variantes y mezcla los efectos.
¿Por qué definir la regla de decisión antes?
Después de ver los datos siempre aparece una lectura que favorece la opción preferida. Con la regla escrita antes (adoptar, iterar o parar), la decisión sigue el criterio acordado y no el ánimo del día.
¿Cuáles son las principales amenazas a la validez?
Instrumentación errónea, división del tráfico desequilibrada, parar el test antes de tiempo, efecto novedad, fechas atípicas, contaminación entre grupos y tráfico de robots. El checklist muestra cuáles cubre ya el plan y cuáles quedan pendientes.
¿Y si el test no cabe en el plazo?
Aumenta el efecto mínimo, lleva más tráfico al experimento o elige una métrica más sensible y más cercana al cambio. Si nada de eso alcanza, un test A/B no es el método adecuado: prefiere un prototipo o una investigación cualitativa.