Você mudou o prompt. Ninguém sabe o que isso fez com as respostas.
Trocar de modelo ou editar um prompt muda comportamento que você não consegue enumerar em teste. Trate como rollout: uma parte do tráfego primeiro, qualidade e custo no guardrail, e um registro de por que a versão nova ganhou.
Criar uma conta com o Google compartilha conosco seu nome, e-mail e foto de perfil, para que possamos identificar você e falar com você sobre sua conta. Nosso prazo de guarda declarado é a vigência da conta mais 30 dias após o encerramento.
Sua suíte de testes não sabe dizer que as respostas pioraram
O build passa. Os tipos batem. A saída está diferente de um jeito que nenhuma asserção do seu repositório foi escrita para pegar.
A regressão é qualitativa
Um ajuste de prompt que corrige uma classe de resposta degrada outra em silêncio. Você descobre por um ticket de suporte, semanas depois, escrito como se o produto tivesse ficado pior.
Custo e latência andam separados da qualidade
A versão nova responde melhor e custa três vezes mais por requisição. Nem a suíte de avaliação nem o pull request comentam isso, porque nenhum dos dois estava olhando.
Ninguém reconstrói por que a versão subiu
Alguém decidiu que a nova era melhor. O raciocínio estava numa conversa, os números num notebook, e o notebook já foi rodado de novo desde então.
O que muda quando a versão do modelo vira um rollout
A mesma troca de versão, exposta nas condições que você definiu, com uma decisão que dá para reproduzir.
Uma parte das requisições, não todas
O targeting determinístico mantém o mesmo usuário na mesma versão durante todo o rollout, então a comparação não é poluída por gente pulando de versão no meio da sessão.
Qualidade, custo e latência ganham guardrail
Qualquer um dos três cruzando o limiar pausa a promoção. Uma versão que responde melhor mas custa três vezes mais é interrompida sozinha.
A promoção carrega o motivo
Os valores das métricas por trás de cada etapa, e a ação automatizada tomada, ficam registrados com o rollout. Por que essa versão subiu vira registro, não lembrança.
Como funciona
Faça da versão do modelo uma variação de flag
Prompt, modelo e parâmetros viram configuração, então testar uma versão não exige subir código.
Mande seu próprio sinal de qualidade como métrica
Taxa de aprovação, taxa de escalonamento, o que você já coletar. Vira uma métrica de primeira classe sobre a qual o guardrail pode agir.
Faça a promoção depender dos três
Qualidade, custo e latência cada um com seu limiar. O rollout só avança quando nenhum deles foi rompido.
Promova sua próxima versão de modelo com evidência
Quinze minutos entre criar a conta e ter uma variação de modelo atendendo tráfego real atrás de guardrails.
Começar no GrowthCriar uma conta com o Google compartilha conosco seu nome, e-mail e foto de perfil, para que possamos identificar você e falar com você sobre sua conta. Nosso prazo de guarda declarado é a vigência da conta mais 30 dias após o encerramento.
Experimentos ilimitados, rollback automático por guardrail e métricas reaproveitáveis no Growth.