PushnewsExperimento [id_experimento]
Resultado de experimento
[pergunta]
| Quem participou | [criterio_elegibilidade] |
|---|---|
| Como dividimos | [divisao] |
| O que define o resultado | [metrica_principal] |
Resultado
[resultado_de_cada_grupo]
[explicacao_de_cada_grupo]
Diferença em relação ao grupo sem oferta. A barra é a faixa provável ([nivel_confianca] de confiança). Se ela cruza a linha tracejada, ainda não dá para afirmar que houve efeito.
Números por grupo
| Grupo | Elegíveis | Viram a oferta | Conversão | Receita por elegível | Custo da oferta | Líquido por elegível |
|---|---|---|---|---|---|---|
| [grupos[].nome] | [grupos[].elegiveis] | [grupos[].exposicao] | [grupos[].conversao] | [grupos[].receita_por_elegivel] | [grupos[].custo_por_elegivel] | [liquido_por_elegivel] |
Todos os elegíveis contam, inclusive quem não chegou a ver a oferta (por exemplo, quem fechou a aba antes). Deixá-los de fora faria o resultado parecer melhor do que é.
Checagens de qualidade
- A divisão real bateu com o sorteio planejado[checagens.divisao]
- Quem ficou sem oferta também foi registrado como elegível[checagens.controle]
- Amostra mínima atingida[checagens.amostra]
- Nenhum outro experimento disputou a mesma tela[checagens.sobreposicao]
O que muda agora
- [decisoes[]]
- Mantemos [pct_exploracao] dos elegíveis testando alternativas, para continuar aprendendo.
Como medimos
O sorteio acontece por visitante, no momento em que ele fica elegível. Comparamos grupos inteiros, e não só quem clicou, porque a oferta tende a chegar a quem já estava perto de comprar.
Fontes: EXOTag (elegibilidade, grupo sorteado, probabilidade do sorteio, se a oferta foi exibida) e AITag (pedidos concluídos e valor).