Todos os números nestas páginas são fictícios. Servem para mostrar como os relatórios ficam preenchidos.
Pushnews · v0.1
Relatórios para clientes
O que mostramos ao dono da loja sobre o que fizemos em nome dele, e o que isso provou.
Role a página ou use as setas do teclado para passar os slides.
Um clique não prova uma venda
Parte das pessoas que recebem uma oferta teria comprado de qualquer jeito. Contar todos os pedidos que tiveram um contato faz qualquer ação parecer boa.
Por isso, cada relatório compara quem recebeu a ação com um grupo sorteado que não recebeu nada. A diferença entre os dois é o que a ação gerou.
As cinco regras que todos seguem
Prometemos aprendizado, não resultado. “Inconclusivo” é um resultado válido e aparece como tal.
Só a comparação com o grupo de controle prova efeito. Números por canal nunca aparecem como receita gerada.
Todos os elegíveis contam. Inclusive quem não chegou a ver a ação; tirá-los faria o resultado parecer melhor do que é.
Sem projeções. Só o que foi medido no período.
Dado em falta aparece como “sem dados”. Nunca em branco. Se o dado decide o resultado, o resultado passa a “Inconclusivo”.
A régua: o resultado nunca é escrito à mão
Cada resultado vem com uma faixa provável. Se a faixa fica inteira acima de zero, o efeito é positivo. Se cruza a linha tracejada do zero, o resultado é “Inconclusivo”, e é assim que aparece para o cliente.
Faixa acima de zero: positivo
Faixa cruza o zero: inconclusivo
Os dois exemplos são os do relatório de experimento: cupom de 10% e frete grátis, em reais por visitante elegível.
De onde vêm os números
AITag: o que o visitante fez
Páginas vistas, rolagem, tempo parado, produtos, carrinho, checkout e pedidos concluídos.
EXOTag: o que o sistema fez, e com que probabilidade
Quem era elegível, que alternativa foi sorteada, com que probabilidade, e se a ação foi entregue, vista ou clicada.
Situação hoje: a AITag ainda não está em produção e a EXOTag é uma proposta de campos. Por isso, todos os exemplos usam dados fictícios.
Uma vez, antes de ativar ações
Diagnóstico da jornada de compra
Os dados já são confiáveis para começar a testar, e onde os visitantes desistem?
A qualidade da coleta evento a evento, o caminho do acesso ao pedido e as hipóteses que valem um experimento.
O campo aparece como “sem dados”. Se o dado em falta é necessário para o resultado (por exemplo, a faixa provável ou o grupo de controle), o resultado passa a “Inconclusivo”.
Como verificamos cada relatório
As páginas não têm nenhum script: abrem com JavaScript desligado.
Todo o texto vem do arquivo de tradução; uma pseudo-língua prova que não há texto escrito dentro dos modelos.
Nenhuma palavra de português europeu da lista de revisão.
O HTML é válido.
Os dados de cada relatório passam pelo seu esquema.
No celular (390 px) e no computador (1280 px), sem rolagem lateral e com todas as seções.
Tirar qualquer campo obrigatório mostra “sem dados” e, quando é o caso, “Inconclusivo”.
A régua dá “inconclusivo” para −0,4 a 9,7 e “positivo” para 1,2 a 10,6.
Cada uma destas verificações foi testada estragando o código de propósito: todas ficaram vermelhas.
Próximos passos
Ligar os relatórios aos dados reais quando a AITag entrar em produção.
Fechar os campos da EXOTag (decisão, sorteio, probabilidade e exibição) com o time da tag.
Decidir os pontos em aberto sobre o que se promete ao cliente, como o nome “retorno líquido” e quando uma hipótese conta como refutada.
Traduzir os relatórios para outras línguas: basta um arquivo de tradução novo.
