Black Friday é a pior hora possível para descobrir que o checkout piorou
No pico, dois pontos de queda em conversão é dinheiro saindo a cada segundo enquanto alguém procura quem pode autorizar o rollback. Coloque a mudança numa fatia das sessões e deixe um guardrail tirar do ar.
Criar uma conta com o Google compartilha conosco seu nome, e-mail e foto de perfil, para que possamos identificar você e falar com você sobre sua conta. Nosso prazo de guarda declarado é a vigência da conta mais 30 dias após o encerramento.
A queda de conversão é óbvia. A causa não é.
Dá para ver o número caindo em tempo real. O que não dá para ver é se foi a mudança no checkout, a campanha que acabou de começar a gastar ou o adquirente tendo uma tarde ruim.
Rollback precisa de gente, e gente está dormindo
A mudança sobe na quinta e o pico é sexta às 3h. Desfazer significa achar quem pode aprovar um deploy, justamente na hora em que o custo por minuto é o mais alto do ano.
O contexto de aquisição está em outro sistema
A campanha que trouxe a sessão vive numa ferramenta, o comportamento no checkout em outra. Nada junta as duas, então você discute a causa em vez de saber a causa.
Pico é quando você menos quer estar testando
Aí a mudança sobe antes do pico, sem ter sido testada em volume, que é exatamente o cenário em que ela falha diferente de como falhou em homologação.
Como fica o pico quando a mudança consegue se desligar
Você continua subindo coisa durante o pico. Só que agora isso não custa a hora inteira.
A fatia exposta é uma fatia, não a loja
A variante roda na parcela de sessões que você escolheu. Se estiver errada, esteve errada para aquela parcela, pelo tempo que o guardrail levou para perceber.
Conversão vira guardrail, não relatório
A métrica de negócio que você já acompanha passa a ser o que interrompe o rollout, em vez de ser o que você lê depois que já aconteceu.
A campanha faz parte da resposta
O contexto de aquisição de primeiro toque é capturado junto com a visita, então o resultado separa a mudança do mix de tráfego que chegou ao mesmo tempo.
Como funciona
Coloque a variante atrás de uma flag
A avaliação acontece localmente contra a configuração publicada, então o caminho do checkout não ganha um salto de rede na pior hora possível.
Proteja o número que paga a conta
Aponte o guardrail para conversão ou receita por sessão, defina o que conta como rompimento e escolha se ele pausa ou reverte.
Leia o resultado com o contexto de aquisição
Exposição e contexto de campanha são registrados juntos, então a pergunta do dia seguinte sobre o que aconteceu tem uma resposta em vez de três teorias.
Entre no pico com um rollback que não depende de você
Quinze minutos entre criar a conta e ter uma variante de checkout rodando atrás de um guardrail.
Começar no GrowthCriar uma conta com o Google compartilha conosco seu nome, e-mail e foto de perfil, para que possamos identificar você e falar com você sobre sua conta. Nosso prazo de guarda declarado é a vigência da conta mais 30 dias após o encerramento.
Rollback automático por guardrail, experimentos ilimitados e 250 mil usuários rastreados no Growth.