O teste A/B enganoso é simples

por Rostyslav Mykhajliw Fundador da TrueSocialMetrics.com ~ 5 min

Clássico

O teste A/B clássico é uma distribuição entre diferentes estados. Vamos começar com uma amostra geral que todos usam. Temos um site com um botão de cadastro, atualmente é azul, mas queremos testar uma nova cor vermelha.

A/B testing

Em seguida, alocamos algum tráfego para lá e esperamos algum. Há uma calculadora simples para statistical significance.

Opção A: 50 mil visitantes - 500 inscrições Opções B: 50 mil visitantes - 570 inscrições - vencedor

B é um vencedor, é claro. Mais inscrições, significância estatística.

Um novo clássico da maçã às laranjas

Espere um pouco! O que estamos lançando é algo novo. Por exemplo, estamos adicionando um botão “demo” para uma visão geral do guia passo a passo do produto. A/B testing a new feature

Se seguirmos uma lógica simples de testes A/B - não funciona! Porque não podemos comparar maçãs com laranjas. Não podemos comparar nada a alguma coisa! Está totalmente incorreto. Se não houver um botão de demonstração, os usuários podem ter uma experiência pior do que aqueles que têm essa opção. Mas esta opção pode ajudar apenas os usuários que já se interessaram pelo produto ou já declararam usar o produto recentemente. Mesmo que você tenha milhões de tráfego, você não pode dizer como funciona em algumas horas/dias porque os resultados podem ser adiados no tempo.

Para uma nova funcionalidade deve ser liberado de forma linear conforme processo de liberação enteral. Só então depois de algum tempo podemos olhar para isso e descobrir se teve algum impacto na experiência do cliente ou não, mas acompanhando as métricas de negócios. Os testes A/B NÃO são aplicáveis a uma nova funcionalidade.

AA/BB testa a confiança

Volte para a primeira amostra com o botão de inscrição. Se nosso palpite estiver correto, podemos adicionar mais opções A e mais opções B e nada mudou, porque B ainda pode vencer a batalha.

AA/BB testing

Então veja os resultados:

A1: 50 mil visitas - 500 inscrições A2: 50 mil visitantes - 580 inscrições - vencedor B1: 50 mil visitantes - 570 inscrições - vencedor B2: 50 mil visitantes - 500 inscrições

O QUE! O QUE! O QUE! Você pode dizer que é impossível, mas esta situação mostra diferença se a alocação de visitantes entrar em vigor nos resultados dos testes. E esses resultados estão mostrando significância estatística estável de 95%, mas baixa confiança.

Teste adaptativo

Se voltarmos ao início do artigo, veremos um enorme tráfego de 50 mil visitantes e 500 transições necessárias para receber resultados significativos. No entanto, nem todas as páginas têm esta possibilidade. Nem todas as startups são boas o suficiente para gerar esse tráfego, ou podem ser páginas de baixo tráfego, como configurações/cobranças, etc. Para todos esses casos, os testes a/b clássicos levarão muito tempo para coletar dados meses/semestre do ano ou então. A próxima desvantagem da abordagem geral é que pelo menos 50 mil visitantes (de 100 mil alocados para teste) pioraram a experiência do cliente. Então, estamos esperando muito tempo e perdendo clientes devido à alocação para um teste de “perda”. Isto faz algum sentido ? Na saúde os médicos cruzavam as questões dos casos, mas numa mesa estava a vida das pessoas. Se fizermos um teste durante o qual 50% dos pacientes estão morrendo devido a “ainda não testados”. E é uma loucura. Aqui está um cara, Marvin Zelen, que teve a ideia do teste adaptativo, chamado agora Zelen’s design.

Em palavras curtas

Vamos imaginar que temos 2 possibilidades: bolas vermelhas e azuis, então estatisticamente é 50% de probabilidade.

Adaptive test initial state

Por exemplo, alocamos aleatoriamente o visitante para “azul” e “azul” é uma experiência melhor porque conseguimos uma compra. Neste caso, “azul” está ganhando, é por isso que adicionamos uma bola “azul” extra à piscina.

Adaptive test added blue ball

Como resultado, a probabilidade mudou "vermelho" - 33% e "azul" - 67%

Parece bom! Mas o próximo visitante com “azul” não faz nada. Então “azul” está perdendo, é por isso que temos que remover uma bola “azul” da piscina e voltamos ao nosso estado anterior.

Adaptive test final state

Vantagens: + funciona para pequena quantidade de tráfego + de forma adaptativa oferece melhor atendimento aos usuários Pontos negativos: - requer que os desenvolvedores trabalhem para descobrir ganhar/perder testes no processo de teste

Concussões

  • O teste A/B clássico não funciona para novos recursos porque você não pode testar nada com algo
  • Normalmente, os testes A/B NÃO são representativos, mesmo que sua análise diga que são
  • A abordagem AA/BB ajuda a verificar os resultados do teste A/B
  • O teste adaptável é super útil para tráfego pequeno, mas requer trabalho manual para definir metas


Quando você está pronto para balançar suas análises de mídia social

TrueSocialMetrics dar uma tentativa!


Iniciar teste
Nenhum cartão de crédito necessário.






leia mais




Taxa de conversação/Amplificação/Aplauso - melhores práticas de utilização.
Descrevendo a melhor forma de usar estas três métricas e algumas medidas adicionais para fazer as análises ainda mais valiosas e perspicazes.


Acompanhamento multi-dispositivo de Google Analytics e protocolo de medição
Hoje em dia o marketing e análises estão enfrentando um novo desafio após a era PC. É rastreamento multi-dispositivo. Os clientes estão usando smartphones, laptops, PC em casa e nosso software de análise de conta-los como diferentes sessões do usuário.


Fast food no Twitter: quando postar para não perder
Ninguém fica nas redes sociais o tempo todo – nem mesmo o pessoal da análise de redes sociais. Normalmente, as pessoas usam seus telefones para relaxar, relaxar ou obter as últimas notícias. E é por isso que diferentes tipos de conteúdo funcionam melhor em momentos diferentes.


Google Analytics Hacks
Google Analytics (GA) is an exceptional analytical engine, but it lacks an inherent understanding of your business’s critical metrics. Whether your key online goals revolve around subscription purchases or phone calls, GA needs customization to reflect what’s most important to you. This guide will focus on how to categorize streams of data—such as visits, events, clicks, views, and scrolls—into meaningful groups to facilitate deeper and more effective analysis.