Blog de Marketing Digital de Resultados

Como fazer um teste A/B no Google Analytics

Ao começar a estudar marketing digital, um dos primeiros assuntos a se ouvir falar são os testes A/B. Como já falado no post O que são A/B Tests e como escolhê-los, os Testes A/B são uma das formas mais eficientes de validação de hipóteses, principalmente quando se trata de otimizar conversões.

O princípio é relativamente simples, mas modelar e executar um bom teste requer alguns cuidados. Especialmente porque o teste é totalmente baseado em estatística e probabilidade de aquelas mudanças de fato impactarem nos resultados.

O objetivo do post é passar algumas das boas práticas e ensinar como configurar um teste A/B em alguns minutos. Além disso, vamos aproveitar e recomendar uma outra ferramenta para fazer este teste, super simples de mexer e que usamos atualmente: Optimizely.

Boas práticas ao fazer um Teste A/B

Antes de já ensinar a configurar, é importante passar por pelo menos 4 boas práticas ao realizar os testes. Não segui-las pode comprometer totalmente seus resultados:

1 – Faça uma alteração de cada vez

Ao testar apenas um elemento por vez, você garante que os impactos gerados pela mudança realmente tenham vindo daquele elemento. Por isso, mesmo que você saiba que diversas mudanças podem gerar melhorias, quebre a sua hipótese em várias fases, e teste uma de cada vez para evitar que algumas delas na verdade estejam te prejudicando.

2 -Defina um intervalo de confiança adequado

Quando trabalhamos com estatística, precisamos sempre estabelecer um nível de confiabilidade. Na prática, se falamos que o índice de confiança de uma alteração ser melhor é de 80%, estamos dizendo que a cada 10 aparições para um usuário, em média ela será realmente melhor em 8 delas. Nossa indicação é trabalhar com 95% ou 99% de intervalo de confiança. Esse intervalo é muito importante pois ele é um principais dos fatores que determina quantas visitas serão necessárias para provar que uma página realmente está melhor que outra.

3 – Estabeleça uma meta para o sucesso do experimento

Esta é uma boa prática que é útil de duas formas. A primeira é que ao determinar o ganho esperado com aquela melhoria, é possível fazer um balanço melhor e comparar o ganho esperado com a quantidade de esforço necessária para fazer aquela alteração. Se for necessário alocar muitas pessoas para um ganho pequeno, talvez nem valha a pena fazer este experimento.

A segunda, é que esta expectativa de melhoria também é um dos parâmetros que ajuda a determinar o volume de visitantes naquela página para provar que ela realmente trouxe um ganho. Quanto maior a expectativa de melhoria, menor a quantidade de visitantes necessária para provar esse ponto.

4 – Teste as duas versões simultaneamente

Se você monitora os seus resultados com frequência, já deve ter percebido o quanto fatores externos podem influenciar no seu negócio. Para evitar que esses fatores influenciem o seu resultado, o ideal é sempre fazer testes simultâneos. Por exemplo, muitas empresas rodam a versão alterada por um período de tempo e compara com o resultado histórico da página. E na prática sabemos que uma semana pode trazer resultados muito diferentes de outras.

ga_1

5 – Crie um objetivo

Esta etapa é extremamente importante pois é o que Google vai considerar como sucesso na sua página. Por exemplo, numa Landing Page, o grande objetivo é a conversão do visitante em Lead. Por isso, quero medir quantas pessoas pessoas chegaram na página e quantas preencheram o formulário, clicaram no botão e foram direcionados para a página de agradecimento. Nesse caso, vamos considerar como objetivo alcançar a página de agradecimento.

ga_2

 

GA-2

 

6 – Porcentagem de tráfego

Dê um nome para ele, um objetivo e a porcentagem em que você deseja dividir o tráfego: 50% fará com que metade dos visitantes seja direcionado para a página A, e a outra metade para a página B.

Esta proporção dependerá do seu objetivo com o experimento e do seu volume de visitantes.

A opção 50/50 normalmente é utilizada em páginas que não tem um tráfego muito grande, e por isso precisam usar todo o volume de visitas disponível para o experimento.

Páginas com grande volume de visitas não precisam separar todo o seu tráfego para o experimento e podem, portanto usar opções como 10/90, 20/80, 30/70. Isso é importante, pois sempre há o risco de o experimento apresentar um resultado pior que a versão original. Ao separar apenas 10 ou 20% do tráfego para o experimento, você garante que em caso de desempenho pior, grande parte dos resultados não será afetada/prejudicada.

ga_3

Para esse exemplo, vamos simular um experimento onde mudamos apenas a cor do botão da nossa Landing Page. Para isso, criamos uma página nova com o novo botão e vamos chamá-la de “Variação 1”. A imagem da esquerda é a original, enquanto a da esquerda é a variação.

ga_4 ga_5

Nessa próxima etapa você deverá colocar os endereços das páginas que deseja usar como teste A/B.

GA-3

O próximo passo é inserir o código javascript no seu site. O próprio Google já dá as instruções para isso e checa se o código foi colocado corretamente. Também é possível inserir esse código através do Google Tag Manager. Veja o post Como usar o Google Tag Manager.

Também é possível inserir esse código nas Landing Pages criados no RD Station. Veja como.

ga_7

Ao finalizar e rodar o experimento, sempre use a URL da página original. O Google irá direcionar sua audiência automatica e aleatoriamente para uma das duas versões.

O próximo passo é esperar os resultados. O Google Analytics demora alguns dias para mostrar os primeiros resultados. Mas ao clicar no nome do experimento, é possível ver a página vencedora e a probabilidade de variação de ser melhor que a versão original.

Agora é só acompanhar as estatísticas e avaliar o desempenho das duas versões.

Bônus: Fazendo testes A/B no Optimizely

O Optimizely é uma ferramenta muito boa para a realização de testes A/B (e muitos outros), e o plano gratuito é mais do que suficiente para a necessidade da grande maioria das empresas. E ela é tão boa assim por 3 simples motivos:

  • É extremamente fácil editar mudanças, sendo a maioria delas possível no modelo “drag and drop”.
  • Ela faz sozinha os cálculos de referencia estatística para o intervalo de confiança que você escolher
  • Você facilmente pode fazer testes simultâneos, com a possibilidade de escolher a proporção de tráfego que será direcionado para cada página

Para exemplificar, vamos usar a Landing Page que usamos para oferecer avaliações gratuitas de marketing:

1. Vá em “sign up” e crie uma conta para a sua empresa

2. Após o login, você entratá em um painel com todos os seus experimentos. Para criar um novo clique em “New experiment”.

Optimizely Home

 

3. Um pop up irá aparecer pedindo para você fornecer um nome e uma URL para a execução do experimento.

4. Feito isso, você poderá visualizar a URL escolhida, dentro do painel de edição do Optimizely. Passe o seu cursor pelos elementos da página para entender como a ferramenta separa cada “caixa” do seu site.

(Nossa hipótese para essa Landing Page é de que o Título e Subtítulo da página não estão transmitindo de forma adequada o valor que queremos passar, e por isso vamos trocá-lo.)

5. Clique com o mouse na “caixa” que você deseja alterar e vão aparecer as opções de edicação da ferramenta.Edit post (2)

 

6. Existem várias opções, para alterar textos, fontes e tamanhos, remover ou alterar ícones e imagens, reposicionar “caixas” e outras mais. Lembre-se de fazer uma alteração por teste como falamos nas boas práticas. No nosso caso alteraremos somente o título da Landing Page.

Edit post (3)

7. Edite a página de acordo com a hipótese criada, e quando terminar nos resta 3 coisas a fazer: definir a meta, alocar o tráfego e definir a significancia estatística.

8. Definir metas, ou seja, vamos definir o que vai ser medido para fazer a comparação de resultados. Para isso, clique no ícone de uma bandeira, no canto superior direito, denominado “Set up Goals”. Se for a sua primeira vez no programa, você terá de criar uma nova meta em “create new goal”.Edit post (4)

9. Em “what to track” você vai escolher se o objetivo a ser medido é um visualização de página (pageview), um clique (click) ou um custom evento personalizado (event). No nosso caso, como se trata de uma Landing Page, nossa meta é o clique no botão. Nesta etapa no Google Analytics definimos que o objetivo era chegar na página de agradecimento pois não é tão simples medir o clique no botão.

10. Na próxima tela você verá a sua página, e basta clicar sobre o elemento que define a meta para que está seja configurada, e em seguida aperte em salvar (save).

11. A configuração inicial da ferramenta já é de alocar o tráfego meio a meio. No entanto muitas vezes é arriscado mandar metade do seu tráfego para uma página que você não sabe o desempenho, por isso muitas vezes é interessante começar com um volume mais baixo. Para alterar clique em “option” e em seguida em “traffic allocation”.

Edit post (5)

12. Por fim, clique no botão “Start Experiment” para dar inicio ao experimento. Você será redirecionado para o seu painel de experimento. Uma vez aí, clique em “Settings”. Role a página um pouco e você verá o “statistical significance”, onde você definirá a sua significância estatística.

13. Logo acima, você verá o Script que deve ser colado na sua página, para dar permissão ao Optimizely de alterá-la.

Optimizely Home (1)

 

14. Se você usa o RD Station, basta inserir esse Script na sua Landing Page. No editor de Landing Page clique em aparência, e na parte “Javascript HEAD”, cole todo o conteúdo do Script fornecido pelo Optimizely.

RD Station (2)

 

15. Pronto agora seu teste A/B está configurado, e para acompanhá-lo basta voltar ao painel de experimentos, clicar no experimento em questão e no lado direito, entra em “results” para acompanhar os resultados.

Optimizely Home (2)

Conclusão

Apesar de longo, o post passou apenas pelo básico da teoria e boas práticas. Este tema ainda pode ser aprofundado de várias formas, mas este é o básico para configurar de forma gratuita e simples um teste A/B.

Após ler esse post, sugiro que você dê uma olhada no post sobre como experimento ajudam seu negócio a crescer.

Marcadores:

Deixe seu comentário