Certified Product Experimentation Specialist
Para quem desenha e interpreta experimentos de produto: dimensionamento e sensibilidade, ameaças à validade, leitura de resultado e decisão de lançar.
- Questões
- 50
- Duração
- 60 min
- Nota de corte
- 70%
- Investimento
- R$ 540
A nota de corte é fixa: você passa com 70% de acerto, sem curva e sem comparação com outros candidatos.
- Mudou de ideia? Peça o reembolso integral em até 14 dias da compra, se o voucher não tiver sido usado.
- Seu voucher não vence. Faça o exame de certificação quando estiver pronto.
- Se não passar, a próxima tentativa sai pela metade do preço por 90 dias.
- A credencial não expira e não tem anuidade. Você paga o exame de certificação uma vez.
Para quem é
Você desenha e interpreta experimentos
E já percebeu que a parte difícil não é rodar o teste: é decidir a unidade de aleatorização e a métrica antes de ver qualquer número.
Você responde pela decisão de lançar ou descartar
A conclusão sai do seu relatório e vira produto. Quando o resultado não é conclusivo, é você quem explica a diferença entre isso e "não funciona".
Você já viu um teste ser lido do jeito errado
Parada na primeira significância, achado em um segmento de dezoito, comparação com o mês anterior. E quer o argumento técnico para recusar cada uma.
O que você leva
Código permanente de verificação
Qualquer pessoa confirma sua credencial em pmcert.org/verify, sem precisar pedir nada a você.
Aprovação que não expira
Credencial conquistada não vence, não pede renovação anual e não cobra mensalidade.
LinkedIn e perfil público
Adicione à sua seção de licenças e certificações, ou compartilhe o link do seu perfil.
Certificado com nota por domínio
Em PDF, mostrando seu desempenho em cada área avaliada.
O que você precisa saber
Sete domínios, sorteados de um banco escrito para este exame de certificação. Leia cada um e veja onde você está.
Desenho de experimento
8 questões · 16% do exame
Em que unidade sortear, e por que ela nem sempre é a unidade em que o efeito aparece. O plano declarado antes da coleta é o que transforma o teste em prova.
Métricas, instrumentação e unidade de agregação
7 questões · 14% do exame
Qual métrica decide e qual segura o resultado. Agregar por evento, por sessão ou por usuário muda o número e muda a conclusão sobre os mesmos dados.
Dimensionamento, sensibilidade e duração
7 questões · 14% do exame
O efeito mínimo detectável, e como reconhecer que o teste não responde à pergunta antes de gastar as semanas descobrindo isso.
Ameaças à validade
8 questões · 16% do exame
Interferência entre unidades, desequilíbrio de amostra, contaminação por modelo que aprende com os dois grupos ao mesmo tempo, e efeito de novidade.
Análise e interpretação de resultado
9 questões · 18% do exame
Ler o intervalo de confiança, e não só o valor de p. Espiada diária, comparação múltipla, achado em subgrupo, e a diferença entre significância e relevância.
Métodos sem aleatorização plena
5 questões · 10% do exame
Alternância por janela de tempo, teste geográfico, diferenças em diferenças. E, sobretudo, o que cada um desses métodos não permite concluir.
Decisão e programa de experimentação
6 questões · 12% do exame
O critério de lançamento escrito antes do resultado, e por que a taxa de vencedores é a métrica mais citada e a menos informativa de um programa.
Como os exames de certificação são construídosIntegridadeSobre a PMCert
Avalie seus conhecimentos com a Avaliação Aberta
A Avaliação Aberta tem vinte questões no nível do exame de certificação, com resultado na hora e nota por domínio. É a forma honesta de decidir se você já está pronto.
Avalie seus conhecimentosVeja como são as questões
Duas questões da avaliação aberta, que é gratuita. As do exame de certificação são outras, no mesmo formato: uma situação de trabalho e uma decisão.
Um aplicativo de transporte testa uma mudança no algoritmo de precificação. O experimento aleatoriza passageiros: metade vê o preço novo e metade o antigo, na mesma cidade e no mesmo período. Os mesmos motoristas atendem os dois grupos. O resultado mostra alta de 6 por cento em corridas concluídas no grupo de teste.
- AAceitar o resultado, porque a aleatorização foi feita corretamente por passageiro
- BSuspeitar do resultado, porque os dois grupos disputam a mesma oferta de motoristas
- CRepetir o teste com amostra maior para confirmar a alta de 6 por cento observada
- DAceitar o resultado e monitorar a satisfação dos motoristas no período seguinte
Ver resposta e explicação
Resposta: B
A aleatorização garante que os dois grupos sejam comparáveis no início, e isso não basta quando eles competem pelo mesmo recurso limitado. Aqui os passageiros do grupo de teste, ao pagarem um preço diferente, alteram a disponibilidade de motoristas que o grupo de controle encontra. O efeito medido deixa de ser o efeito da mudança e passa a ser a soma do efeito com aquilo que um grupo tirou do outro. Se a mudança apenas redistribui corridas entre os dois grupos, o teste mostra ganho e a operação inteira não ganha nada quando a mudança for aplicada a todos. Aceitar o resultado atrai porque a aleatorização por passageiro parece impecável e a intuição associa aleatorização correta a resultado válido. Ampliar a amostra atrai porque mais dados parecem sempre melhores, e nesse caso apenas medem com mais precisão um número que já está errado, o que é a pior combinação possível: alta confiança em uma estimativa enviesada. Monitorar a satisfação dos motoristas trata de uma consequência e não da causa. A condição que o experimento exige é que o que acontece com uma unidade não afete o resultado das outras. Quando essa condição cai, a resposta está em mudar a unidade de aleatorização, por exemplo alternando a configuração por região ou por janela de tempo.
Uma equipe testa um novo fluxo de cadastro e aleatoriza por sessão. Um mesmo usuário que retorna pode ver o fluxo antigo em uma visita e o novo em outra. A métrica primária declarada é a taxa de conclusão do cadastro por usuário, e cerca de 40 por cento dos usuários fazem mais de uma visita antes de concluir.
- AManter a aleatorização por sessão, porque ela produz amostra maior no mesmo prazo
- BManter a aleatorização por sessão e analisar o resultado por sessão, e não por usuário
- CManter a aleatorização e excluir da análise os usuários que viram as duas versões
- DAleatorizar por usuário, porque a métrica e a experiência pertencem ao usuário
Ver resposta e explicação
Resposta: D
A unidade de aleatorização precisa acompanhar a unidade em que o efeito acontece e em que a decisão será tomada. Cadastro é um processo que a pessoa atravessa ao longo de várias visitas, e a decisão de lançar será sobre a experiência do usuário, não sobre a experiência de uma sessão isolada. Ao sortear por sessão, quatro em cada dez pessoas atravessam os dois fluxos, o que mistura os tratamentos dentro da mesma unidade de análise e comprime a diferença entre os grupos: o teste passa a subestimar tanto o ganho quanto a perda. Manter por sessão pelo tamanho de amostra atrai porque mais unidades parecem elevar o poder do teste, e o que se ganha em número se perde em pureza do contraste. Analisar por sessão parece resolver alinhando a análise à aleatorização, e continua inválido, porque a sessão de um usuário que já viu o outro fluxo carrega o efeito dele. Excluir quem viu as duas versões é o caminho mais perigoso: a exclusão acontece depois do sorteio e depende do comportamento do usuário, o que quebra a comparabilidade que a aleatorização havia criado e reintroduz seleção por um critério correlacionado com o resultado. A regra prática é sortear na unidade mais ampla em que a experiência é consistente.
Pratique o tema com uma ferramenta gratuita
Ferramentas sem cadastro sobre assuntos desta certificação, para aplicar no trabalho o que o exame de certificação avalia.
- Calculadora de amostra A/BQuantas pessoas cada variante precisa ver, e por quantas semanas, para o teste detectar o efeito que importa.Abrir
- Calculadora de significância A/BVisitantes e conversões de cada variante viram p-valor, intervalo da diferença e um veredito em linguagem simples.Abrir
- Planejador de experimentoHipótese, métricas, amostra, duração e regra de decisão num documento só, combinado antes de começar.Abrir
- Gerador de hipótesesDa observação à frase que um teste pode confirmar ou derrubar, com métrica, número e prazo.Abrir
Nenhum curso é exigido
O exame de certificação é o mesmo para todo mundo, e a preparação é escolha sua: um curso, um livro, ou a experiência que você já traz do trabalho.
- Mudou de ideia? Peça o reembolso integral em até 14 dias da compra, se o voucher não tiver sido usado.
- Seu voucher não vence. Faça o exame de certificação quando estiver pronto.
- Se não passar, a próxima tentativa sai pela metade do preço por 90 dias.
- A credencial não expira e não tem anuidade. Você paga o exame de certificação uma vez.
Seu acesso ao exame de certificação chega por e-mail assim que o pagamento for confirmado, e não vence. O pagamento é processado pelo Stripe.
Veja quem já se certificouCredencial de exemplo
Certified Product Experimentation Specialist
- Titular
- Ana Carolina Ribeiro Martins
CPXS-8G3T-N4YB
Perguntas frequentes sobre o exame de certificação
›Como é o exame de certificação?
É um exame de certificação online de múltipla escolha, feito no seu próprio navegador, sem agendamento e sem centro de exames. As questões descrevem situações de trabalho e pedem uma decisão, em vez de cobrar definição decorada. Algumas pedem mais de uma alternativa, e nesse caso a tela avisa quantas marcar. O número de questões, a duração e a nota de corte de cada exame estão na página da certificação.
›Qual é a nota de corte para ser aprovado?
A nota de corte varia por certificação e está publicada na página de cada exame de certificação, junto com o número de questões e a duração. Não há corte por curva nem comparação com outros candidatos: o seu resultado depende apenas das suas respostas. Também não há crédito parcial em questão de múltipla resposta, onde é preciso acertar o conjunto inteiro.
›Posso refazer o exame de certificação? Preciso esperar?
Pode refazer, e não há período de espera nem limite de tentativas. O que cada nova tentativa exige é um novo voucher, porque cada voucher vale uma tentativa. As questões são sorteadas a cada abertura, então uma nova tentativa não repete o exame de certificação anterior. Se você não passar, recebe um cupom para comprar a nova tentativa da mesma certificação pela metade do preço, válido por 90 dias.
›O voucher tem prazo de validade?
O voucher comprado no site não vence. Vouchers emitidos para uma instituição em lote podem ter prazo definido na emissão, e nesse caso a data aparece junto do código. Se você perdeu o e-mail, o código também fica na sua conta, na área Exames de certificação, depois que o seu endereço estiver confirmado.
›Posso cancelar a compra e pedir reembolso?
Sim, em até 14 dias da compra, desde que o voucher ainda não tenha sido usado. Escreva para [email protected], do mesmo e-mail usado na compra, dizendo que quer o reembolso. Devolvemos o valor pelo mesmo meio de pagamento e cancelamos o voucher no mesmo ato, então o código deixa de funcionar. Voucher já usado não é reembolsável, mesmo dentro dos 14 dias, porque a tentativa é consumida ao abrir o exame de certificação.
›A certificação tem validade? Existe renovação ou anuidade?
Não e não. A credencial PMCert não expira: não há data de vencimento, não há reteste periódico, não há taxa de renovação e não há anuidade para manter o que já foi conquistado. Você paga o exame de certificação uma vez. A única forma de uma credencial deixar de valer é a revogação, que é um ato administrativo com motivo registrado, e não um vencimento automático.
Perguntas sobre o exame de certificação →Todas as perguntas frequentes →