Certified Product Experimentation Specialist

Para quem é

• Você desenha e interpreta experimentos

  E já percebeu que a parte difícil não é rodar o teste: é decidir a unidade de aleatorização e a métrica antes de ver qualquer número.

• Você responde pela decisão de lançar ou descartar

  A conclusão sai do seu relatório e vira produto. Quando o resultado não é conclusivo, é você quem explica a diferença entre isso e "não funciona".

• Você já viu um teste ser lido do jeito errado

  Parada na primeira significância, achado em um segmento de dezoito, comparação com o mês anterior. E quer o argumento técnico para recusar cada uma.

O que você leva

• Código permanente de verificação

  Qualquer pessoa confirma sua credencial em pmcert.org/verify, sem precisar pedir nada a você.

• Aprovação que não expira

  Credencial conquistada não vence, não pede renovação anual e não cobra mensalidade.

• LinkedIn e perfil público

  Adicione à sua seção de licenças e certificações, ou compartilhe o link do seu perfil.

• Certificado com nota por domínio

  Em PDF, mostrando seu desempenho em cada área avaliada.

O que você precisa saber

Sete domínios, sorteados de um banco escrito para este exame. Leia cada um e veja onde você está.

• Desenho de experimento

  Em que unidade sortear, e por que ela nem sempre é a unidade em que o efeito aparece. O plano declarado antes da coleta é o que transforma o teste em prova.

• Métricas, instrumentação e unidade de agregação

  Qual métrica decide e qual segura o resultado. Agregar por evento, por sessão ou por usuário muda o número e muda a conclusão sobre os mesmos dados.

• Dimensionamento, sensibilidade e duração

  O efeito mínimo detectável, e como reconhecer que o teste não responde à pergunta antes de gastar as semanas descobrindo isso.

• Ameaças à validade

  Interferência entre unidades, desequilíbrio de amostra, contaminação por modelo que aprende com os dois grupos ao mesmo tempo, e efeito de novidade.

• Análise e interpretação de resultado

  Ler o intervalo de confiança, e não só o valor de p. Espiada diária, comparação múltipla, achado em subgrupo, e a diferença entre significância e relevância.

• Métodos sem aleatorização plena

  Alternância por janela de tempo, teste geográfico, diferenças em diferenças. E, sobretudo, o que cada um desses métodos não permite concluir.

• Decisão e programa de experimentação

  O critério de lançamento escrito antes do resultado, e por que a taxa de vencedores é a métrica mais citada e a menos informativa de um programa.