O que é teste A/B, o que você pode testar e como começar a fazer

Quer ouvir o post sobre teste A/B? Clique no player abaixo!

Uma das coisas que sempre dizemos aqui no blog e em nossos materiais educativos é que, embora existam recomendações e boas práticas, cada empresa tem seu próprio público, com características peculiares. Por isso, somente a partir de testes é possível ter certeza sobre qual abordagem funciona melhor.

Um dos testes mais conhecidos e eficientes é o chamado teste A/B, que consiste em dividir o tráfego de uma determinada página em duas versões: a atual e uma “desafiante”, com modificações. Depois, mede-se qual das versões apresenta maior taxa de conversão.

Vamos falar sobre alguns conceitos introdutórios de teste A/B. Se quiser saber tudo sobre o método, temos um material ainda mais completo e gratuito: é o Kit Guia do teste A/B, que você pode receber preenchendo o formulário abaixo. Depois, continue lendo o post.

Por que os testes A/B são eficientes

Os testes A/B são ferramentas excelentes porque oferecem um feedback real de mercado, mensurado com precisão e com base em dados, não em achismos. Não é uma pesquisa simples na qual alguém pode responder uma coisa e fazer outra na prática: são fatos consolidados.

Como as diferentes versões são distribuídas aleatoriamente em um mesmo espaço de tempo, não há o risco de fatores externos (como uma palestra ou um eventual link em outro site) influenciarem a taxa de conversão.

Tudo isso torna o resultado dos seus experimentos muito mais confiáveis, como conta o Matheus Bonetti no vídeo abaixo:

• Acesse aqui o ebook citado pelo Matheus → Como fazer uma Landing Page campeã de conversões: aprenda com 10 exemplos de sucesso

Onde os testes A/B podem ser utilizados

Uma das vantagens de utilizar testes A/B é que eles podem ser usados em diversos canais de comunicação que você tenha com os usuários.

Os mais comuns são anúncios no Google Ads e em redes sociais (como Facebook e LinkedIn), Email Marketing, Landing Pages e nas páginas de um site, mas a possibilidade de aplicar testes A/B é praticamente infinita.

É possível fazê-los inclusive em meios offline, mas, neste artigo, vamos nos ater aos testes em meios digitais.

Quando devo fazer um teste A/B

Os testes A/B devem ser aplicados em situações em que há a necessidade ou o potencial de otimizar alguma métrica importante para a empresa, sejam acessos, aberturas, cliques, geração de Leads, etc.

Por exemplo, se você possui um email cuja taxa de cliques está muito baixa, ou uma Landing Page com baixa taxa de conversão, vale a pena criar uma segunda versão para rodar um teste A/B e descobrir se a nova versão tem um desempenho melhor.

Onde é preciso tomar cuidado

Em um post antigo já indicamos que fazer testes A/B é um dos conselhos de especialistas que deve ser ignorado por iniciantes em Marketing Digital. Continuamos acreditando nessa opinião e isso se deve basicamente a dois motivos.

O primeiro é a necessidade de um bom volume de acessos para que o teste seja válido estatisticamente, coisa que poucas empresas iniciantes em Marketing Digital conseguem ter. A falta de volume pode levar a decisões prematuras e incorretas. Para calcular esse volume, utilizamos a Calculadora de teste A/B da Resultados Digitais (clique na imagem abaixo para conhecer a ferramenta).

E o segundo é que, embora nos acostumemos a ver palestras e estudos de caso mostrando melhoras na conversão como se fossem algo simples, a verdade é que é difícil encontrar variáveis que realmente fazem a diferença nos números. Quase nunca é relatado o que acontece com bastante frequência: os experimentos que fracassam, aqueles em que a diferença na conversão entre uma versão e outra não pode ser considerada relevante.

Para alguém que ainda tenha muitas coisas mais básicas e provadas para fazer no Marketing Digital da sua empresa, é pouco provável que trabalhar com otimizações tragam tanto resultado como o terminar de montar a sua estrutura.

Como saber a hora de parar um Teste A/B

É importante medir de forma prática a relevância estatística de um teste A/B e explicar a importância de se tomar uma decisão apenas quando há boa confiabilidade no teste que está sendo realizado.

O que é intervalo de confiança?

Imagine que você queira testar se uma moeda é ou não tendenciosa para jogar cara ou coroa. Teoricamente, se você jogar essa moeda 200 vezes, metade das vezes deverá ser cara, e metade coroa, certo?

Você então resolve fazer o teste e observa que tirou cara 116 vezes, ou 58% das vezes. Com esse resultado, você pode dizer, com confiança, que a moeda é tendenciosa?

Para responder a esta pergunta, a estatística nos dá uma maneira de quantificar a confiança que podemos ter nesse teste. O chamado intervalo de confiança indica a probabilidade que a variação entre o controle (50% cara) e o experimento (58% cara) de fato representarem toda a população, ao invés de um segmento tendencioso (e portanto irreal) escolhido por mera casualidade .

No exemplo que demos, o resultado de 58% cara possui um intervalo de confiança de aproximadamente 90%, índice considerado baixo estatisticamente. Significa dizer que existe 90% de chance de os resultados representarem de fato a realidade e não a influência de algum acaso.

Apesar de parecer alto, esse índice não é considerado estatisticamente confiável, ou seja, pode dar uma falsa impressão de diferença. Recomenda-se para dar um experimento como válido um intervalo de confiança de 95% ou mais, sendo 99% um ótimo índice.

Por que você deve tomar decisões apenas quando tiver dados relevantes

Nos testes A/B, acontece o mesmo cenário que vimos acima: há uma página com uma determinada taxa conhecida de conversão (controle), e outra página com algum elemento que foi substituído ou alterado (experimento), que queremos testar e descobrir se a taxa de conversão é ou não maior.

Quando você conduz um teste em uma Landing Page, por exemplo, e conclui que a experiência foi positiva mesmo com um baixo intervalo de confiança, deixa margem para que a alteração vá ao ar sem que os resultados se mantenham no patamar esperado. Pior ainda, pode ter informações menos completas ou em volume menor a troco de nada.

Por exemplo, considere que resolvemos testar uma Landing Page com um formulário sem o campo de telefone e obtivemos o seguinte resultado:

Neste cenário, o intervalo de confiança é de aproximadamente 90%. Como já dissemos, esse valor não oferece relevância estatística.

Se considerarmos o teste como completo, é possível que nas novas Landing Pages, sem o campo de telefone no formulário, a taxa de conversão seja mais próxima do que era observada anteriormente e sua empresa perde uma informação interessante sem ganhar um volume maior de conversões em troca.

Já se a diferença entre as taxas de conversão for maior, também será o intervalo de confiança, o que dá mais relevância estatística ao teste:

Neste caso, a Landing Page sem o campo de telefone no formulário possui praticamente 100% de chance de superar a página com o campo.

Para calcular o intervalo de confiança de maneira simples, recomendamos calculadora de A/B Tests do Dr. Pete.

O que testar

O primeiro fato para o qual devemos nos atentar é o seguinte: não se recomenda testar mais de um elemento por vez, já que dessa forma é impossível saber qual mudança foi a responsável pelos resultados.

De maneira geral, os itens que mais costumam alterar os resultados de conversão de uma página são:

• Headline (título em destaque) da página;
• Call-to-Action (botões para conversão);
• Imagens ou vídeos;
• Descrições da oferta;
• Tamanho e campos do formulário;
• Indicadores de confiabilidade (testemunhos, certificados etc.)

Claro que os testes não se limitam a isso: é possível alterar a posição dos elementos, cores ou mesmo aspectos da própria oferta (15 ou 30 dias de teste gratuito em um software, por exemplo). No entanto, os itens que apresentamos anteriormente são bons pontos de partida.

Ferramentas de teste A/B

Para realizar com eficiência um teste A/B recomendamos o uso de alguma ferramenta para ajudar você no processo.

• Google Optimize (que assumiu as funções de teste A/B antes encontradas no Google Analytics);
• Optimizely;
• VWO;
• RD Station Marketing: diferentemente das ferramentas acima, o RD Station Marketing é uma plataforma completa de Marketing Digital com a funcionalidade de teste A/B para Landing Pages e Email Marketing.

Exemplos de teste A/B

Veja alguns exemplos que realizamos aqui na Resultados Digitais e que consideramos úteis de serem aplicados para tornar suas ações de Marketing Digital ainda mais eficientes.

1. Destacar a cor do formulário de uma Landing Page

A ideia deste experimento era mudar a cor do formulário da página de teste gratuito do RD Station Marketing para que ganhasse mais destaque. Isso porque o formulário estava praticamente da mesma cor que o fundo. Com isso, esperávamos aumentar a taxa de conversão da Landing Page.

Acreditávamos que, ao aumentar o contraste do formulário com o fundo, o formulário teria mais destaque, melhorando em 20% as conversões em relação à Landing Page original.

Duplicamos, então, a página original, fizemos alterações na segunda versão da página e iniciamos o teste. Por fim, avaliamos o desempenho do experimento, concluindo que a versão desafiante (formulário com mais contraste) teve um taxa de conversão 27% maior do que a versão original (formulário com pouco contraste), confirmando a hipótese inicial do experimento.

2. Inserção de Call-to-Action no início dos emails

Neste teste, incluímos um Call-to-Action (CTA) para download do material no início do corpo do email buscando aumentar a taxa de cliques da campanha - que até então, com o botão no final do texto, variava entre 15 e 20%. A ideia era que a taxa de cliques aumentasse em 20%.

Criamos um novo template, posicionando o CTA no início. Disparamos os emails e verificamos que a versão com CTA no início teve um taxa de cliques 24,28% maior do que a versão original, confirmando a hipótese inicial do experimento.

3. Utilizar a quantidade downloads de material em uma Landing Page como prova social

Acreditávamos que indicar em uma Landing Page a quantidade de downloads do material que já haviam sido feitos poderia funcionar como prova social, aumentando as conversões em 10%.

Criamos então uma versão dessas páginas com um contador de downloads. O teste foi realizado nas Landing Pages do kit Marketing Digital para Iniciantes e do eBook Marketing Digital para Empreendedores.

Adicionamos o número de downloads que o material já teve e configuramos o teste A/B via RD Station Marketing.

No Kit Marketing Digital para Iniciantes, após 49 dias de dados analisados, a versão original deste kit teve uma taxa de conversão de 30,64%, enquanto a versão desafiante teve uma taxa de conversão de 31,25%.

No caso do eBook Marketing Digital para Empreendedores, a versão original teve uma taxa de conversão de 29,67% (189 conversões para 637 visitantes), e a versão desafiante teve uma taxa de conversão de 30,64% (106 conversões para 346 visitantes).

Contudo, a Calculadora de teste A/B da Resultados Digitais considerou a diferença não significativa, e o teste foi inconclusivo.

4. Mudar layout da página de bate-papo com a RD

A ideia aqui era atualizar o layout na Landing Page de bate-papo para aumentar a taxa de conversão. Com a alteração do template da página, queríamos que a taxa de conversão tivesse um aumento de 30% em relação à página anterior.

A taxa de conversão da Landing Page original ficou em 11,46%, enquanto a da nova Landing Page ficou em 12,58%, uma variação de 9,77%.

Assim, consideramos que o experimento falhou, pois não comprovou a hipótese de que a taxa de conversão aumentaria em 30% com a mudança do layout. A principal hipótese para a falha foi a instabilidade das taxas de conversão, pois elas variaram muito entre si durante o período do experimento, o que pode significar que, dependendo do canal, um tipo de Landing Page pode ter melhor performance do que outro.

O principal aprendizado foi de que, mesmo melhorando o design de uma Landing Page, não necessariamente a taxa de conversão irá aumentar, pois isso depende de outras variáveis, como a origem do Lead.

5. Utilizar vídeo do autor em Landing Page de material educativo

Testamos a inserção, na Landing Page, de um vídeo do autor de um material educativo (eBook, webinar, planilha etc.) fazendo uma chamada para que o visitante baixe o material.

Ao trocarmos a imagem da Landing Page por um vídeo do autor falando sobre o material educativo e convidando para baixar a oferta, acreditávamos que o visitante se sentiria mais próximo e que a taxa de conversão aumentaria em 20% em relação à que possuía somente a imagem.

Escolhemos o material, criamos o roteiro do vídeo, que depois foi ensaiado, filmado e editado. Por fim, criamos a Landing Page desafiante e começamos a monitorar taxas de conversão e retorno. Ufa!

No entanto, o resultado não foi o esperado: ao finalizar o experimento, vimos que o vídeo pode diminuir a taxa de conversão de uma Landing Page. Entre as hipóteses para que isso aconteça estão distração e pessoas que entraram na Landing Page com uma expectativa e, ao verem o vídeo, não tiveram sua expectativa alcançada.

Entre as sugestões para fazer um novo experimento, estão refazê-lo com outro material e colocar o vídeo na página de agradecimento.

Como fazer teste A/B no RD Station Marketing

A funcionalidade de teste A/B se aplica aos planos Pro e Enterprise do RD Station Marketing. Para saber mais sobre cada um dos planos, clique aqui. Você pode otimizar a taxa de conversão de uma Landing Page ou testar alguma hipótese em uma nova página. Veja o passo a passo:

1. Ativar o teste

Ao acessar o passo Editor em sua Landing Page, você terá um botão Criar Teste A/B no canto superior esquerdo. Para iniciar o processo, clique nele:

2. Editar o conteúdo da variação B

Ao começar o processo de teste A/B, uma cópia exata da sua página original será gerada. É possível editar o conteúdo de ambas as LPs, mas o formulário será o mesmo. Para isso, basta clicar no canto superior esquerdo em um dos botões correspondentes à variação desejada, sendo A a versão atual e B a nova versão que quer testar.

Após o clique, é possível editar o conteúdo da versão escolhida:

3. Republicar ou publicar sua Landing Page

Agora o teste precisa começar a rodar. Então, é preciso publicar a Landing Page. Se por caso ela já estiver no ar, é só republicá-la.

4. Analisar os dados

Depois de alguns dias  - ou semanas, caso você tenha pouco volume de visitantes - da Landing Page no ar, já é possível consultar se há uma variação vencedora.

Para fazer essa análise, você pode utilizar a Calculadora de Resultado de Teste A/B. Nela, basta colocar as taxas de conversão e você saberá qual foi a versão vencedora.

5. Definir um vencedor

Agora que você já concluiu que uma de suas duas versões é a melhor, na página de Estatísticas da sua landing page que está com Teste A/B, você pode clicar em Definir como vencedor. Ao escolher, apenas a versão vencedora ficará no ar.

Bem simples, não é mesmo? Se você tem interesse em testar o RD Station Marketing e a funcionalidade de teste A/B, peça para conversar diretamente com um consultor de vendas. Ele vai te ajudar a avaliar o seu momento no Marketing Digital, sem compromisso!

BÔNUS: teste A/B na prática — como aumentamos as conversões de uma Landing Page em 167%

Gostaríamos de descobrir uma forma sustentável de aumentar a taxa de conversão de nossas Landing Pages, especialmente por meio de tráfego vindo do Google AdWords, já que, em geral, são pessoas que ainda não conhecem nossa empresa e nossos materiais.

Seguindo uma das possíveis "alavancas" mencionadas acima, pensamos em simplificar um pouco o formulário.

Com isso, decidimos em 2012 (esse foi um dos primeiros testes A/B que fizemos) fazer um teste sugerido por um de nossos leitores: retirar apenas o campo “telefone de contato” de uma Landing Page.

Os resultados falam por si:

Para muitas pessoas é difícil acreditar que remover um único campo do formulário seja capaz de aumentar as conversões em 167%. A taxa média de conversão da página foi de 20,18% para 53,90%.

Pense que, para cada R$ 100 investidos em mídia anteriormente, conseguiríamos o mesmo resultado investindo apenas R$37,45, ou então teríamos quase três vezes esse resultado se investíssemos o mesmo valor.

Por isso, sempre que estiver na dúvida sobre o impacto de qualquer detalhe na sua Landing Page, não deixe sua opinião prevalecer: faça um teste A/B e permita que os números falem.

Esse foi só um exemplo, mas as possibilidades são enormes. Não significa que se funcionou aqui  é porque vai funcionar em sua empresa. Inclusive, algumas de nossas Landing Pages possuem sim o campo de telefone. Isso porque é um dado importante pra gente e que em algum momento vamos precisar dele para poder entrar em contato com o Lead.

Precisa de mais ideias? Então baixe gratuitamente o eBook 13 testes A/B para aplicar nesta semana e conheça alguns experimentos que podem ajudar a aumentar os resultados de suas ações de Marketing Digital.

Post publicado originalmente em outubro de 2012 e revisado e atualizado mais recentemente em junho de 2020.