Métricas de produtividade para agentes de IA: tempo de resolução e CSAT

Para medir um agente de IA no atendimento, acompanhe dois grupos de números ao mesmo tempo: eficiência (taxa de resolução ou contenção, transferência para humano, tempo de resolução, resolução no primeiro contato) e experiência (CSAT e CES). Um agente que “resolve” muito, mas deixa o cliente insatisfeito ou fazendo o mesmo pedido de novo no dia seguinte, não está resolvendo nada.

O ponto que mais engana é a definição. Cada plataforma conta “resolução” de um jeito, e comparar o seu agente com a equipe humana só faz sentido se os dois forem medidos com a mesma régua, sobre o mesmo tipo de caso. Este guia mostra as métricas, como as plataformas de mercado as definem, como instrumentar, como comparar agente e humano sem viés e os cuidados com a LGPD nas pesquisas de satisfação.

Resumo rápido

• Meça eficiência e experiência juntas. Taxa de resolução sem CSAT e sem recontato premia o agente que despacha o cliente.
• “Resolução” muda de plataforma para plataforma: Zendesk, Intercom e Google Dialogflow CX usam critérios e janelas de tempo diferentes. Anote a definição que você usa.
• Instrumente cada conversa com eventos: início, intenção, quem atendeu, transferência, encerramento, recontato e avaliação.
• Para comparar agente e humano, compare a mesma intenção e, se puder, distribua os casos de forma aleatória.
• Pesquisa de satisfação usa dados pessoais: aplique finalidade, necessidade e transparência da LGPD e permita que o cliente não responda.

As métricas que importam e o que cada uma mostra

A tabela reúne as métricas mais usadas em atendimento e como elas se aplicam quando parte das conversas é feita por um agente de IA.

FCR, TMA e tempo de resolução

A Zendesk define FCR como a porcentagem de tickets que os agentes resolvem na primeira interação com o cliente, e o calcula como tickets resolvidos com um toque divididos pelo total de tickets recebidos. O tempo médio de resolução é o tempo total para resolver todos os tickets dividido pelo número de tickets resolvidos.

O TMA (em inglês, AHT, average handle time) soma tempo de conversa, tempo de espera e trabalho pós-atendimento, dividido pelo número de atendimentos. A fórmula aparece assim nos materiais da Salesforce e da Zendesk. As duas empresas alertam para o mesmo risco: cobrar só TMA baixo faz o atendente apressar o cliente e derruba o CSAT. Com agentes de IA, o alerta vale em dobro, porque é fácil encerrar rápido uma conversa que não foi resolvida.

CSAT e CES

O CSAT costuma vir de uma pergunta do tipo “Como você avalia este atendimento?”, com escala de 1 a 5. Qualtrics, Salesforce e Zendesk descrevem o cálculo mais comum: respostas 4 e 5 divididas pelo total de respostas, vezes 100. A Zendesk também cita a versão como média simples das notas, então diga sempre qual das duas você usa.

O CES (customer effort score) mede quanto esforço o cliente fez para conseguir o que queria. A Zendesk descreve dois cálculos: média das notas, em escalas numéricas, ou porcentagem de respostas positivas menos a de negativas, em escalas de concordo e discordo. A própria Zendesk diz que não há benchmark estabelecido para CES; compare o seu número com ele mesmo ao longo do tempo.

Como as plataformas definem “resolvido”

Esta é a parte que mais gera comparação errada. Três exemplos de documentação oficial:

• Zendesk (resoluções automatizadas): a resolução automatizada é a unidade usada para cobrar os agentes de IA. Um modelo de linguagem verifica se o problema foi resolvido sem intervenção humana, e conversas escaladas não entram. A avaliação acontece 72 horas depois do primeiro e-mail; em mensagens, 2 horas depois da primeira mensagem por padrão, com extensão até 72 horas; em voz, ao desligar.
• Intercom (Fin): a taxa de resolução é a porcentagem de conversas em que o Fin deu uma resposta e resolveu, dentro das conversas em que ele atuou. Resolução pode ser confirmada (o cliente diz que a resposta serviu) ou presumida (o cliente sai sem pedir mais ajuda). A Intercom também usa taxa de envolvimento e taxa de automação, que é envolvimento vezes resolução.
• Google Dialogflow CX: nos experimentos, uma sessão “contida” é a que chegou ao fim sem disparar as outras métricas, como transferência para atendente, retorno do cliente (callback) ou abandono. A documentação avisa que contenção, retorno e abandono só estão disponíveis para agentes com integração de telefonia.

Repare na resolução presumida: um cliente que desistiu e foi reclamar no Reclame Aqui pode aparecer como “resolvido”. Por isso a taxa de resolução da plataforma é ponto de partida, não verdade final. Some a ela uma métrica própria de recontato.

Como instrumentar: eventos mínimos

Você não precisa de uma ferramenta cara para começar. Precisa registrar, para cada conversa, um conjunto de eventos com horário:

1. conversa_iniciada: canal (WhatsApp, chat do site, e-mail, voz) e identificador pseudonimizado do cliente.
2. intencao_identificada: o motivo do contato (segunda via de boleto, troca, status de pedido). Sem isso, nenhuma comparação é justa.
3. atendido_por: agente de IA, humano ou os dois, com a versão do agente (prompt, modelo, base de conhecimento).
4. transferido_para_humano: motivo (pedido do cliente, regra de negócio, falta de resposta) e em que ponto da conversa.
5. conversa_encerrada: resultado declarado (resolvido, não resolvido, abandonado).
6. recontato: o mesmo cliente voltou com a mesma intenção em até X dias. Escolha a janela conforme o seu negócio e mantenha fixa.
7. avaliacao_recebida: nota de CSAT ou CES e se houve comentário.

Com esses eventos, você calcula resolução real (resolvido e sem recontato na janela), tempo até resolver incluindo a fila humana e CSAT por intenção. Guarde também a transcrição, com controle de acesso, para revisão por amostragem. Para avaliar qualidade de resposta em escala, um avaliador automático ajuda, desde que calibrado com notas humanas; veja como no guia sobre LLM-as-a-judge em português.

Como comparar agente de IA e atendente humano

A comparação ingênua (“o agente tem CSAT X, os humanos têm Y”) quase sempre engana, por três motivos:

• Viés de seleção: o agente fica com os casos simples e transfere os difíceis. Os humanos recebem a parte mais complicada e o cliente já irritado.
• Régua diferente: o agente é medido pela resolução presumida da plataforma e o humano pelo fechamento manual do ticket.
• Pesquisa diferente: se a pesquisa é enviada em momentos ou canais diferentes, a taxa de resposta muda e o CSAT junto.

Para comparar de forma justa:

1. Compare por intenção. Agente contra humano em “segunda via de boleto”, não no total.
2. Distribua aleatoriamente quando puder. Mande parte dos contatos de uma intenção para o agente e parte para humanos, por sorteio, durante algumas semanas. O Dialogflow CX, por exemplo, tem experimentos que dividem tráfego entre versões e acompanham contenção e transferência.
3. Conte a conversa inteira. Quando o agente transfere, o tempo de resolução e o CSAT pertencem à jornada toda, não só ao humano que terminou.
4. Use a mesma pesquisa, no mesmo momento. Mesma pergunta, mesma escala, mesmo canal, enviada logo após o encerramento.
5. Olhe a taxa de resposta. CSAT com poucas respostas oscila muito. Mostre sempre o número de respostas ao lado da porcentagem.

A transferência também merece análise própria. Uma transferência rápida e com contexto (o humano recebe o resumo e não pergunta tudo de novo) costuma ser melhor para o cliente que um agente insistindo. Desenhamos esse fluxo no texto sobre fallback de agentes de nível 1 para humanos.

Exemplo: loja de cosméticos em Curitiba

Imagine uma loja online de cosméticos em Curitiba que atende pelo WhatsApp e pelo chat do site. Ela colocou um agente de IA para responder status de pedido, troca e dúvidas sobre produtos, com transferência para a equipe humana.

Como a loja montaria a medição:

1. Intenções: o agente classifica cada conversa em uma de cinco intenções. Um analista revisa uma amostra semanal para conferir se a classificação está certa.
2. Régua única: “resolvido” passa a significar encerrado como resolvido e sem novo contato sobre a mesma intenção em sete dias, para agente e para humano.
3. Teste por sorteio: durante um mês, metade das conversas de “status de pedido” vai para o agente e metade para a equipe.
4. Pesquisa igual: ao encerrar, todos recebem a mesma pergunta de CSAT (1 a 5) e uma de esforço (“Foi fácil resolver?”), com aviso de que responder é opcional.
5. Painel semanal: por intenção, a loja vê resolução real, transferências e seus motivos, tempo até resolver, CSAT com número de respostas e CES.

Se o agente empatar com a equipe em “status de pedido” e perder em “troca”, a decisão sai sozinha: o agente fica com o primeiro e transfere o segundo cedo, com contexto. A medição serve para decidir o escopo, não para enfeitar relatório.

LGPD nas pesquisas de satisfação e nos logs

A nota de CSAT ligada a um cliente identificável é dado pessoal, assim como a transcrição da conversa. A Lei 13.709/2018 (LGPD) se aplica. Na prática:

• Finalidade e necessidade (art. 6º): colete só o que serve para medir e melhorar o atendimento. Para o painel, um identificador pseudonimizado basta; nome e telefone ficam no sistema de origem.
• Base legal (art. 7º): defina e registre qual base legal sustenta a pesquisa e o uso das transcrições. Se for legítimo interesse, documente a avaliação e respeite as expectativas do cliente. Na dúvida, consulte o seu encarregado ou jurídico.
• Transparência: diga ao cliente que ele está falando com um agente de IA, que a conversa pode ser usada para melhorar o atendimento e que responder a pesquisa é opcional.
• Direitos do titular (art. 18): tenha como localizar e excluir ou anonimizar os dados de um cliente que pedir.
• Retenção e acesso: defina prazo para guardar transcrições e restrinja quem lê. Remova CPF, endereço e dados de pagamento antes de usar conversas para treinar ou avaliar o agente.
• Fornecedores: verifique onde a plataforma de atendimento e o provedor do modelo processam e guardam os dados e o que o contrato diz sobre uso para treino.

Para aprofundar a parte de segurança e governança, veja o guia de padrões de aprovação humana para agentes de vendas e suporte.

Erros comuns

• Usar a taxa de resolução da plataforma como verdade. Resolução presumida inclui quem desistiu. Cruze com recontato.
• Celebrar TMA baixo. Conversa curta não resolvida é pior que conversa longa resolvida.
• Comparar agente e humano no total. Sem separar por intenção, o agente parece melhor porque fica com os casos fáceis.
• Esconder o número de respostas do CSAT. Uma porcentagem com dez respostas não sustenta decisão.
• Tratar toda transferência como falha. Meta de “zero transferências” empurra o agente a insistir onde deveria passar a vez.
• Não registrar a versão do agente. Sem isso, não dá para saber se a métrica mudou por causa do prompt novo ou da sazonalidade.

Perguntas frequentes

Qual é a diferença entre taxa de contenção e taxa de resolução?

Contenção diz que a conversa terminou no agente, sem transferência nem abandono. Resolução diz que o problema foi resolvido. Uma conversa pode ser contida e não resolvida, por exemplo quando o cliente desiste.

Qual CSAT é bom para um agente de IA?

Não existe número universal. Compare o agente com a equipe humana na mesma intenção e com a mesma pesquisa, e acompanhe a evolução ao longo do tempo. Desconfie de benchmarks sem metodologia publicada.

Preciso perguntar CSAT e CES na mesma pesquisa?

Não é obrigatório. Duas perguntas curtas costumam funcionar; mais que isso derruba a taxa de resposta. Se tiver de escolher uma para o agente, o CES mostra melhor se ele fez o cliente repetir informação.

Como medir FCR se o cliente volta por outro canal?

Use um identificador de cliente comum aos canais e conte como recontato qualquer volta com a mesma intenção dentro da janela definida, seja no WhatsApp, no chat ou no telefone.

Posso usar as conversas para avaliar o agente com outro modelo de IA?

Pode, desde que haja base legal, que dados sensíveis sejam removidos antes e que o fornecedor do modelo avaliador tenha contrato adequado de tratamento de dados.

Fontes e leitura recomendada

• Zendesk: About the automated resolutions platform
• Intercom: Monitor Fin’s performance (resolução, envolvimento e automação)
• Intercom: Fin AI Agent outcomes
• Google Cloud: Dialogflow CX Experiments (contenção e transferência)
• Zendesk: KPIs de atendimento (FCR e tempo de resolução)
• Zendesk: o que é AHT e como calcular
• Zendesk: Customer Effort Score
• Salesforce: What is Customer Satisfaction Score (CSAT)
• Lei 13.709/2018 (LGPD), texto oficial no Planalto