Certified Product Experimentation Specialist

Para quién es

• Diseñas e interpretas experimentos

  Y ya notaste que lo difícil no es correr la prueba: es decidir la unidad de aleatorización y la métrica antes de ver cualquier número.

• Respondes por la decisión de lanzar o descartar

  La conclusión sale de tu informe y se vuelve producto. Cuando el resultado no es concluyente, eres quien explica en qué se diferencia de "no funciona".

• Ya viste una prueba leída de la forma equivocada

  Parar en la primera significancia, un hallazgo en un segmento de dieciocho, comparar con el mes anterior. Y quieres el argumento para rechazar cada una.

Lo que te llevas

• Código permanente de verificación

  Cualquier persona confirma tu credencial en pmcert.org/verify, sin tener que pedirte nada.

• Aprobación que no caduca

  Una credencial conquistada no vence, no pide renovación anual y no cobra mensualidad.

• LinkedIn y perfil público

  Agrégala a tu sección de licencias y certificaciones, o comparte el enlace de tu perfil.

• Certificado con nota por dominio

  En PDF, mostrando tu desempeño en cada área evaluada.

Mira cómo son las preguntas

Dos preguntas de la evaluación abierta, que es gratuita. Las del examen de certificación son otras, en el mismo formato: una situación de trabajo y una decisión.

1. Una aplicación de transporte prueba un cambio en el algoritmo de precios. El experimento aleatoriza pasajeros: la mitad ve el precio nuevo y la mitad el antiguo, en la misma ciudad y en el mismo período. Los mismos conductores atienden a los dos grupos. El resultado muestra un alza del 6 por ciento en viajes concluidos en el grupo de prueba.

   1. AAceptar el resultado, porque la aleatorización fue hecha correctamente por pasajero
   2. BDesconfiar del resultado, porque los dos grupos disputan la misma oferta de conductores
   3. CRepetir la prueba con muestra mayor para confirmar el alza del 6 por ciento observada
   4. DAceptar el resultado y monitorear la satisfacción de los conductores en el período siguiente
   Ver respuesta y explicación

   Respuesta: B

   La aleatorización garantiza que los dos grupos sean comparables al inicio, y eso no basta cuando compiten por el mismo recurso limitado. Aquí los pasajeros del grupo de prueba, al pagar un precio diferente, alteran la disponibilidad de conductores que el grupo de control encuentra. El efecto medido deja de ser el efecto del cambio y pasa a ser la suma del efecto con aquello que un grupo le quitó al otro. Si el cambio solo redistribuye viajes entre los dos grupos, la prueba muestra ganancia y la operación entera no gana nada cuando el cambio se aplique a todos. Aceptar el resultado atrae porque la aleatorización por pasajero parece impecable y la intuición asocia aleatorización correcta con resultado válido. Ampliar la muestra atrae porque más datos siempre parecen mejores, y en este caso solo miden con más precisión un número que ya está equivocado, lo que es la peor combinación posible: alta confianza en una estimación sesgada. Monitorear la satisfacción de los conductores trata una consecuencia y no la causa. La condición que el experimento exige es que lo que ocurre con una unidad no afecte el resultado de las otras. Cuando esa condición cae, la respuesta está en cambiar la unidad de aleatorización, por ejemplo alternando la configuración por región o por ventana de tiempo.

2. Un equipo prueba un nuevo flujo de registro y aleatoriza por sesión. Un mismo usuario que regresa puede ver el flujo antiguo en una visita y el nuevo en otra. La métrica primaria declarada es la tasa de conclusión del registro por usuario, y cerca del 40 por ciento de los usuarios hace más de una visita antes de concluir.

   1. AMantener la aleatorización por sesión, porque produce muestra mayor en el mismo plazo
   2. BMantener la aleatorización por sesión y analizar el resultado por sesión, y no por usuario
   3. CMantener la aleatorización y excluir del análisis a los usuarios que vieron las dos versiones
   4. DAleatorizar por usuario, porque la métrica y la experiencia pertenecen al usuario
   Ver respuesta y explicación

   Respuesta: D

   La unidad de aleatorización necesita acompañar la unidad en que el efecto ocurre y en que la decisión será tomada. El registro es un proceso que la persona atraviesa a lo largo de varias visitas, y la decisión de lanzar será sobre la experiencia del usuario, no sobre la experiencia de una sesión aislada. Al sortear por sesión, cuatro de cada diez personas atraviesan los dos flujos, lo que mezcla los tratamientos dentro de la misma unidad de análisis y comprime la diferencia entre los grupos: la prueba pasa a subestimar tanto la ganancia como la pérdida. Mantenerla por sesión por el tamaño de muestra atrae porque más unidades parecen elevar el poder de la prueba, y lo que se gana en número se pierde en pureza del contraste. Analizar por sesión parece resolver alineando el análisis con la aleatorización, y sigue siendo inválido, porque la sesión de un usuario que ya vio el otro flujo carga su efecto. Excluir a quien vio las dos versiones es el camino más peligroso: la exclusión ocurre después del sorteo y depende del comportamiento del usuario, lo que rompe la comparabilidad que la aleatorización había creado y reintroduce selección por un criterio correlacionado con el resultado. La regla práctica es sortear en la unidad más amplia en que la experiencia es consistente.

• Calculadora de muestra A/BCuántas personas debe ver cada variante, y durante cuántas semanas, para que el test detecte el efecto que importa.Abrir
• Calculadora de significancia A/BVisitantes y conversiones de cada variante se convierten en p-valor, intervalo de la diferencia y un veredicto en lenguaje simple.Abrir
• Planificador de experimentosHipótesis, métricas, muestra, duración y regla de decisión en un solo documento, acordado antes de empezar.Abrir
• Generador de hipótesisDe la observación a la frase que un test puede confirmar o derribar, con métrica, número y plazo.Abrir