Experimentação de Produto

Questões de exemplo

Duas questões deste simulado, no mesmo estilo do exame de certificação. Responda antes de abrir a explicação.

1. Questão 1

   Um aplicativo de transporte testa uma mudança no algoritmo de precificação. O experimento aleatoriza passageiros: metade vê o preço novo e metade o antigo, na mesma cidade e no mesmo período. Os mesmos motoristas atendem os dois grupos. O resultado mostra alta de 6 por cento em corridas concluídas no grupo de teste.

   1. Aceitar o resultado, porque a aleatorização foi feita corretamente por passageiro
   2. Suspeitar do resultado, porque os dois grupos disputam a mesma oferta de motoristas
   3. Repetir o teste com amostra maior para confirmar a alta de 6 por cento observada
   4. Aceitar o resultado e monitorar a satisfação dos motoristas no período seguinte
   Ver resposta e explicação

   Resposta correta: B. Suspeitar do resultado, porque os dois grupos disputam a mesma oferta de motoristas

   A aleatorização garante que os dois grupos sejam comparáveis no início, e isso não basta quando eles competem pelo mesmo recurso limitado. Aqui os passageiros do grupo de teste, ao pagarem um preço diferente, alteram a disponibilidade de motoristas que o grupo de controle encontra. O efeito medido deixa de ser o efeito da mudança e passa a ser a soma do efeito com aquilo que um grupo tirou do outro. Se a mudança apenas redistribui corridas entre os dois grupos, o teste mostra ganho e a operação inteira não ganha nada quando a mudança for aplicada a todos. Aceitar o resultado atrai porque a aleatorização por passageiro parece impecável e a intuição associa aleatorização correta a resultado válido. Ampliar a amostra atrai porque mais dados parecem sempre melhores, e nesse caso apenas medem com mais precisão um número que já está errado, o que é a pior combinação possível: alta confiança em uma estimativa enviesada. Monitorar a satisfação dos motoristas trata de uma consequência e não da causa. A condição que o experimento exige é que o que acontece com uma unidade não afete o resultado das outras. Quando essa condição cai, a resposta está em mudar a unidade de aleatorização, por exemplo alternando a configuração por região ou por janela de tempo.

2. Questão 2

   Uma equipe testa um novo fluxo de cadastro e aleatoriza por sessão. Um mesmo usuário que retorna pode ver o fluxo antigo em uma visita e o novo em outra. A métrica primária declarada é a taxa de conclusão do cadastro por usuário, e cerca de 40 por cento dos usuários fazem mais de uma visita antes de concluir.

   1. Manter a aleatorização por sessão, porque ela produz amostra maior no mesmo prazo
   2. Manter a aleatorização por sessão e analisar o resultado por sessão, e não por usuário
   3. Manter a aleatorização e excluir da análise os usuários que viram as duas versões
   4. Aleatorizar por usuário, porque a métrica e a experiência pertencem ao usuário
   Ver resposta e explicação

   Resposta correta: D. Aleatorizar por usuário, porque a métrica e a experiência pertencem ao usuário

   A unidade de aleatorização precisa acompanhar a unidade em que o efeito acontece e em que a decisão será tomada. Cadastro é um processo que a pessoa atravessa ao longo de várias visitas, e a decisão de lançar será sobre a experiência do usuário, não sobre a experiência de uma sessão isolada. Ao sortear por sessão, quatro em cada dez pessoas atravessam os dois fluxos, o que mistura os tratamentos dentro da mesma unidade de análise e comprime a diferença entre os grupos: o teste passa a subestimar tanto o ganho quanto a perda. Manter por sessão pelo tamanho de amostra atrai porque mais unidades parecem elevar o poder do teste, e o que se ganha em número se perde em pureza do contraste. Analisar por sessão parece resolver alinhando a análise à aleatorização, e continua inválido, porque a sessão de um usuário que já viu o outro fluxo carrega o efeito dele. Excluir quem viu as duas versões é o caminho mais perigoso: a exclusão acontece depois do sorteio e depende do comportamento do usuário, o que quebra a comparabilidade que a aleatorização havia criado e reintroduz seleção por um critério correlacionado com o resultado. A regra prática é sortear na unidade mais ampla em que a experiência é consistente.