Um agente acertou os exemplos preparados pela equipe. Isso ainda deixa uma pergunta: como ele se comportará diante das mensagens incompletas, dos cadastros duplicados e das solicitações fora do padrão que chegam todos os dias? O modo sombra ajuda a observar essas decisões antes de entregar ao sistema a capacidade de agir na operação.
Nesse desenho, o fluxo atual continua atendendo o cliente. Uma cópia controlada dos casos alimenta o agente candidato, que registra o que faria. A equipe compara a proposta com o resultado esperado e investiga as divergências. Este guia apresenta uma forma de organizar esse experimento em processos de atendimento e automação.
Resumo rápido
- O agente em sombra recebe casos representativos e produz propostas de ação para análise.
- As ferramentas de escrita precisam estar bloqueadas ou substituídas por simuladores.
- A liberação depende de resultados por tipo de tarefa, incluindo falhas críticas e custo.
O que o modo sombra realmente testa
A documentação do Amazon SageMaker AI descreve testes nos quais cópias das requisições alimentam uma variante candidata, enquanto somente a variante de produção responde à aplicação. É uma referência de infraestrutura para o conceito. Em agentes, o desenho precisa incluir também ferramentas, estado e efeitos externos.
O experimento permite comparar escolhas: qual documento consultar, que categoria atribuir a um chamado, quando pedir esclarecimento e qual alteração propor. Ele também revela entradas que não apareceram nos testes preparados manualmente. Uma mensagem curta pode depender de uma conversa anterior; um número de pedido pode vir acompanhado de erro de digitação.
Há um limite: quando uma ação modifica o mundo, as próximas etapas dependem desse novo estado. Uma reserva simulada não cria disponibilidade real. Por isso, documente quais partes do fluxo foram observadas e quais foram simuladas. Não apresente uma decisão correta em sombra como prova de que toda a execução funcionará em produção.
Isole decisões e efeitos externos
Comece separando a ferramenta que consulta um cadastro da que o altera. No ambiente de sombra, a segunda deve apenas registrar uma proposta estruturada: identificação do registro, campo, valor atual, valor pretendido e justificativa. O bloqueio precisa existir na integração; uma frase no prompt pedindo cuidado não é uma barreira suficiente.
Revise também efeitos indiretos. Uma atualização aparentemente simples pode disparar e-mails, webhooks ou notificações. Uma consulta pode marcar uma mensagem como lida. Sempre que houver esse comportamento, use uma cópia dos dados ou uma resposta previamente registrada. A mesma regra vale para ferramentas acionadas por outros agentes dentro do fluxo.
Defina uma política para os dados do experimento: quais campos são necessários, quem pode consultar os registros e quando eles serão removidos. Evite copiar anexos completos quando um trecho basta. Associe cada execução a uma versão do agente e a um identificador de caso, preservando a capacidade de investigar o resultado sem espalhar informações pessoais.
Monte uma comparação que responda a uma pergunta
Escolha um objetivo delimitado, como encaminhar pedidos para a equipe correta. Registre a decisão esperada, a proposta do agente, as fontes consultadas e o motivo de cada divergência. A Anthropic diferencia, em sua orientação sobre avaliações, o registro da execução do resultado efetivo no ambiente. Essa distinção evita considerar uma declaração de sucesso como comprovação da tarefa.
Para organizar a análise, acompanhe acerto por categoria, encaminhamentos indevidos, pedidos de esclarecimento, tempo e consumo de recursos. Use revisão humana nos casos ambíguos. A decisão tomada pela operação atual também pode estar errada; ela funciona como referência inicial, não como gabarito automático.
Inclua horários, canais e perfis diferentes. Se a amostra contiver apenas pedidos completos de clientes conhecidos, o teste dirá pouco sobre novas pessoas ou exceções. Separe mudanças de prompt, modelo e ferramentas para identificar o que provocou cada efeito. Para estruturar os registros, consulte nosso guia de observabilidade de agentes de IA.
Exemplo hipotético: triagem comercial
Imagine uma empresa que recebe solicitações de orçamento por mensagem. O atendimento atual classifica cada pedido e o encaminha para um vendedor. Em sombra, o agente recebe a mesma solicitação e propõe uma categoria, mas não envia mensagens nem muda o responsável no CRM.
Na revisão, a equipe percebe que o agente confunde pedidos de segunda via com novas oportunidades comerciais. O ajuste deve esclarecer a distinção e incluir casos variados de cobrança. Depois, novas conversas verificam se a regra funciona fora dos exemplos usados na correção. A equipe registra o problema e adiciona esses casos à sua suíte de testes de regressão para agentes.
Uma próxima etapa possível é permitir propostas revisáveis para uma categoria simples. A passagem deve ter responsável, condições explícitas e possibilidade de interrupção. Não existe um percentual universal de acerto que autorize qualquer ação: o impacto de um encaminhamento errado é diferente do impacto de uma cobrança indevida.
Checklist para liberar a próxima etapa
- Delimite a tarefa e os casos que ficam fora do experimento.
- Verifique o bloqueio de escrita e de notificações indiretas.
- Registre versões, fontes e resultados de cada execução.
- Revise divergências por categoria, incluindo casos raros relevantes.
- Defina custo máximo, duração e critérios de interrupção do teste.
- Documente o que será liberado e quem acompanhará as primeiras ações.
Perguntas frequentes
Modo sombra substitui testes antes da implantação?
Não. Os testes prévios verificam regras e falhas conhecidas em condições controladas. O modo sombra acrescenta evidência sobre casos reais, sujeito às limitações da amostra e da simulação.
É necessário copiar todas as solicitações?
Não. Uma amostra planejada pode ser suficiente para a pergunta do experimento. Defina o tamanho conforme variedade, custo e consequências do erro, sem tratar poucos casos favoráveis como garantia.
