Experimentación de Producto

Preguntas de ejemplo

Dos preguntas de este simulacro, con el mismo estilo del examen de certificación. Responde antes de abrir la explicación.

1. Pregunta 1

   Una aplicación de transporte prueba un cambio en el algoritmo de precios. El experimento aleatoriza pasajeros: la mitad ve el precio nuevo y la mitad el antiguo, en la misma ciudad y en el mismo período. Los mismos conductores atienden a los dos grupos. El resultado muestra un alza del 6 por ciento en viajes concluidos en el grupo de prueba.

   1. Aceptar el resultado, porque la aleatorización fue hecha correctamente por pasajero
   2. Desconfiar del resultado, porque los dos grupos disputan la misma oferta de conductores
   3. Repetir la prueba con muestra mayor para confirmar el alza del 6 por ciento observada
   4. Aceptar el resultado y monitorear la satisfacción de los conductores en el período siguiente
   Ver respuesta y explicación

   Respuesta correcta: B. Desconfiar del resultado, porque los dos grupos disputan la misma oferta de conductores

   La aleatorización garantiza que los dos grupos sean comparables al inicio, y eso no basta cuando compiten por el mismo recurso limitado. Aquí los pasajeros del grupo de prueba, al pagar un precio diferente, alteran la disponibilidad de conductores que el grupo de control encuentra. El efecto medido deja de ser el efecto del cambio y pasa a ser la suma del efecto con aquello que un grupo le quitó al otro. Si el cambio solo redistribuye viajes entre los dos grupos, la prueba muestra ganancia y la operación entera no gana nada cuando el cambio se aplique a todos. Aceptar el resultado atrae porque la aleatorización por pasajero parece impecable y la intuición asocia aleatorización correcta con resultado válido. Ampliar la muestra atrae porque más datos siempre parecen mejores, y en este caso solo miden con más precisión un número que ya está equivocado, lo que es la peor combinación posible: alta confianza en una estimación sesgada. Monitorear la satisfacción de los conductores trata una consecuencia y no la causa. La condición que el experimento exige es que lo que ocurre con una unidad no afecte el resultado de las otras. Cuando esa condición cae, la respuesta está en cambiar la unidad de aleatorización, por ejemplo alternando la configuración por región o por ventana de tiempo.

2. Pregunta 2

   Un equipo prueba un nuevo flujo de registro y aleatoriza por sesión. Un mismo usuario que regresa puede ver el flujo antiguo en una visita y el nuevo en otra. La métrica primaria declarada es la tasa de conclusión del registro por usuario, y cerca del 40 por ciento de los usuarios hace más de una visita antes de concluir.

   1. Mantener la aleatorización por sesión, porque produce muestra mayor en el mismo plazo
   2. Mantener la aleatorización por sesión y analizar el resultado por sesión, y no por usuario
   3. Mantener la aleatorización y excluir del análisis a los usuarios que vieron las dos versiones
   4. Aleatorizar por usuario, porque la métrica y la experiencia pertenecen al usuario
   Ver respuesta y explicación

   Respuesta correcta: D. Aleatorizar por usuario, porque la métrica y la experiencia pertenecen al usuario

   La unidad de aleatorización necesita acompañar la unidad en que el efecto ocurre y en que la decisión será tomada. El registro es un proceso que la persona atraviesa a lo largo de varias visitas, y la decisión de lanzar será sobre la experiencia del usuario, no sobre la experiencia de una sesión aislada. Al sortear por sesión, cuatro de cada diez personas atraviesan los dos flujos, lo que mezcla los tratamientos dentro de la misma unidad de análisis y comprime la diferencia entre los grupos: la prueba pasa a subestimar tanto la ganancia como la pérdida. Mantenerla por sesión por el tamaño de muestra atrae porque más unidades parecen elevar el poder de la prueba, y lo que se gana en número se pierde en pureza del contraste. Analizar por sesión parece resolver alineando el análisis con la aleatorización, y sigue siendo inválido, porque la sesión de un usuario que ya vio el otro flujo carga su efecto. Excluir a quien vio las dos versiones es el camino más peligroso: la exclusión ocurre después del sorteo y depende del comportamiento del usuario, lo que rompe la comparabilidad que la aleatorización había creado y reintroduce selección por un criterio correlacionado con el resultado. La regla práctica es sortear en la unidad más amplia en que la experiencia es consistente.