Calcule a significância estatística do seu teste A/B. Informe visitantes e conversões de cada grupo e escolha o nível de confiança desejado.
Controle (A)
Variação (B)
Probabilidade de que o resultado não seja por acaso.
Taxa de Conversão (A)—Controle
Taxa de Conversão (B)—Variação
Z-score—Desvios padrão da média
P-value—Probabilidade do acaso
Espaço Reservado · AdSense
O que é um Teste A/B?
Um teste A/B (ou split test) compara duas versões de uma página, anúncio ou e-mail para determinar qual performa melhor. O grupo Controle (A) recebe a versão original e o grupo Variação (B) recebe a versão modificada.
Significância Estatística
Um resultado é estatisticamente significativo quando a diferença observada entre os grupos é improvável de ter ocorrido por acaso. O Nível de Confiança (90%, 95%, 99%) indica a certeza exigida: com 95% de confiança, há apenas 5% de chance de que o resultado seja ruído aleatório.
Fórmulas utilizadas (Z-test bicaudal)
CR = Conversões ÷ Visitantes
Pp = (Conv_A + Conv_B) ÷ (Visit_A + Visit_B)
SEp = √(Pp × (1 − Pp) × (1/n₁ + 1/n₂))
Z = (CR_B − CR_A) ÷ SEp
P-value = 2 × (1 − Φ(|Z|))
Como interpretar o resultado
Se o P-value for menor que o nível de significância (α = 1 − confiança), o teste é considerado estatisticamente significativo e a diferença entre os grupos é real. Caso contrário, não há evidência suficiente para concluir que a variação é melhor — colete mais dados.
Espaço Reservado · AdSense
Por que fazer testes A/B?
Testes A/B são fundamentais para otimizar qualquer estratégia digital. Ao invés de fazer suposições, você coleta dados reais sobre o comportamento dos usuários. Uma pequena melhoria de 1% na taxa de conversão pode significar milhares de reais em receita adicional para um site de alto tráfego.
Importância da significância estatística
Muitas empresas cometem o erro de interromper um teste muito cedo, quando a diferença ainda pode ser resultado do acaso. A significância estatística garante que você só declare vitória quando há evidência suficiente. Um teste não significativo não é um resultado ruim — é apenas um sinal para coletar mais dados ou ajustar a abordagem.
Quando usar 90%, 95% ou 99% de confiança?
90% de confiança é adequado para testes rápidos com pouca margem de erro financeiro. 95% de confiança é o padrão da indústria, balanceando rigor estatístico com praticidade. 99% de confiança é ideal para decisões críticas onde o risco de um erro é muito alto, como mudanças em produtos core ou processos financeiros.
Exemplos práticos
Cenário 1: Um site de e-commerce testa o texto de um botão CTA. Com 5.000 visitantes por grupo e 95% de confiança, ele obtém um resultado significativo com apenas 2% mais cliques. A mudança é implementada globalmente, gerando milhões em receita extra.
Cenário 2: Uma SaaS testa uma nova cópia de preço. Após 3.000 visitantes por grupo, o resultado não é significativo (P-value = 0.12). A equipe coleta mais dados antes de fazer qualquer mudança, evitando uma decisão baseada em ruído aleatório.
Armadilhas comuns em testes A/B
Parar cedo demais: Interromper o teste assim que um resultado "parece bom" aumenta o risco de falsos positivos. Testar múltiplas variáveis: Mudar várias coisas simultaneamente dificulta identificar qual mudança causou o efeito. Ignorar fatores externos: Uma campanha de marketing ou sazonalidade pode influenciar os resultados — sempre considere o contexto.