PushnewsExperimento EXP-014
Resultado de experimento
Quando alguém deixa o carrinho parado, vale mais oferecer cupom de 10%, frete grátis ou não oferecer nada?
| Quem participou | Visitantes com produto no carrinho e 30 segundos sem interagir |
|---|---|
| Como dividimos | Sorteio: Nenhuma oferta (40%), Cupom de 10% (30%) e Frete grátis (30%) |
| O que define o resultado | Receita líquida por visitante elegível (receita menos o desconto concedido) |
Resultado
Cupom de 10%: efeito positivo.Frete grátis: ainda inconclusivo.
Cupom de 10% gerou +R$ 5,90 por visitante elegível em relação ao grupo sem oferta, já descontado o custo da oferta (faixa provável de +R$ 1,20 a +R$ 10,60).Frete grátis: a faixa provável vai de −R$ 0,40 a +R$ 9,70 por visitante elegível e inclui o zero, então ainda não dá para afirmar que houve efeito.
Diferença em relação ao grupo sem oferta. A barra é a faixa provável (95% de confiança). Se ela cruza a linha tracejada, ainda não dá para afirmar que houve efeito.
Números por grupo
| Grupo | Elegíveis | Viram a oferta | Conversão | Receita por elegível | Custo da oferta | Líquido por elegível |
|---|---|---|---|---|---|---|
| Nenhuma oferta | 2.140 | não se aplica | 8,1% | R$ 23,10 | não se aplica | R$ 23,10 |
| Cupom de 10% | 1.605 | 71% | 11,9% | R$ 32,40 | R$ 3,40 | R$ 29,00 |
| Frete grátis | 1.598 | 73% | 10,6% | R$ 29,80 | R$ 2,10 | R$ 27,70 |
Todos os elegíveis contam, inclusive quem não chegou a ver a oferta (por exemplo, quem fechou a aba antes). Deixá-los de fora faria o resultado parecer melhor do que é.
Checagens de qualidade
- A divisão real bateu com o sorteio planejadoOK
- Quem ficou sem oferta também foi registrado como elegívelOK
- Amostra mínima atingidaOK
- Nenhum outro experimento disputou a mesma telaOK
O que muda agora
- O cupom de 10% passa a ser a ação padrão para carrinho parado.
- O frete grátis continua em teste, com mais tráfego, por mais duas semanas.
- Mantemos 10% dos elegíveis testando alternativas, para continuar aprendendo.
Como medimos
O sorteio acontece por visitante, no momento em que ele fica elegível. Comparamos grupos inteiros, e não só quem clicou, porque a oferta tende a chegar a quem já estava perto de comprar.
Fontes: EXOTag (elegibilidade, grupo sorteado, probabilidade do sorteio, se a oferta foi exibida) e AITag (pedidos concluídos e valor).