Quem disse o quê: como avaliar atribuição de falas em resumos de IA

Para avaliar quem disse o quê em um resumo de IA, compare cada afirmação com um gabarito que identifique o autor da fala, o conteúdo, o trecho de apoio e o grau de compromisso expresso. Um resumo pode preservar o assunto e, mesmo assim, trocar quem pediu, quem prometeu ou quem apenas relatou uma decisão de outra pessoa.

Comece por diálogos textuais com participantes identificados e turnos numerados. A tarefa aqui é conferir a atribuição de afirmações no resumo. Se os nomes já estão errados na entrada, corrija ou marque essa limitação antes da avaliação. Misturar essa falha com a qualidade do resumo dificulta encontrar a causa.

Resumo rápido

• Crie o gabarito antes de examinar a resposta do modelo.
• Separe autor da fala, pessoa mencionada e responsável pela ação.
• Marque proposta, confirmação, recusa e condição em campos diferentes.
• Exija evidência por turno para cada afirmação relevante.
• Conte trocas de participante separadamente de omissões.

1. Defina exatamente o que será avaliado

Atribuição de falas é a ligação entre uma informação e quem a expressou. “Paula pediu nova data” é diferente de “Paula aceitou nova data”. Também é diferente de “Renato disse que Paula pediu nova data”. O primeiro caso relata um pedido direto; o último informa um relato de Renato, que pode não ter sido confirmado por Paula na conversa.

Para avaliar um resumo, divida as frases em afirmações pequenas. “Paula aprovou o orçamento e Renato fará a entrega amanhã” contém pelo menos duas afirmações. Cada uma precisa de participantes, ação e evidência próprios. Se o avaliador tratar a frase inteira como um único item, pode aprovar uma metade correta e esconder outra inventada.

Estudos de sumarização de diálogos oferecem contexto para esse cuidado. O SAMSum apresenta conversas com resumos e relata diferença entre sinais de métricas automáticas e julgamento humano. O DialogSum descreve dificuldades de linguagem conversacional, referências entre expressões e informações omitidas que precisam ser compreendidas no contexto. Isso não fornece uma taxa de erro para sua empresa: justifica testar diretamente os casos que ela recebe.

Registre também o objetivo do resumo. Uma lista de decisões pede fidelidade aos compromissos; uma síntese temática pode omitir detalhes sem comprometer seu propósito. Defina antecipadamente quais informações são obrigatórias. Para escolher critérios adicionais, consulte o checklist para conferir respostas de IA.

2. Construa um gabarito de participantes e evidências

Use identificadores estáveis para pessoas e turnos, sem depender apenas do nome visível. “Ana do comercial” e “Ana da operação” precisam permanecer distintas. Uma abreviação só deve ser associada a alguém quando o próprio diálogo ou um cadastro fornecido confirmar a ligação. Na ausência dessa ligação, a anotação esperada é “identidade não resolvida”.

Uma ficha útil contém: identificador da afirmação, falante direto, pessoa mencionada, responsável pela ação, conteúdo, modalidade, evidência e observação de ambiguidade. Modalidade descreve se a fala é pergunta, proposta, intenção, compromisso, confirmação ou recusa. São categorias do protocolo sugerido aqui, que a equipe pode adaptar antes de começar a medir.

Considere “Joana: o Marcos sugeriu entregar na quinta, mas eu ainda preciso confirmar”. Joana é a falante direta. Marcos é o autor da sugestão segundo o relato dela. A entrega na quinta não está confirmada. Um resumo que escreve “Joana confirmou a entrega de Marcos na quinta” erra mais de um campo, embora conserve todos os nomes e o dia.

Monte o gabarito sem olhar o resumo produzido pela IA. Peça que uma segunda pessoa confira os casos com pronomes, citações ou respostas curtas. Quando houver discordância, registre o motivo e resolva a regra de anotação. Se o texto realmente permitir duas leituras, preserve ambas como aceitáveis ou exclua o caso da medição de acerto estrito, mantendo-o no teste de ambiguidade.

3. Compare tipos de erro sem esconder diferenças

Uma única nota de “qualidade” mistura problemas distintos. A tabela usa uma conversa fictícia em que Luiza propõe uma revisão e Pedro concorda em revisar apenas depois de receber os arquivos. O objetivo é demonstrar a classificação de falhas, sem atribuir resultados a qualquer ferramenta.

O trabalho FRANK organiza inconsistências factuais em resumos por tipos de erro. Ele serve como referência para pensar além de uma classificação binária. O protocolo desta página é uma adaptação prática para atribuição em diálogos, e não uma reprodução integral da taxonomia desse estudo.

Evite penalizar uma paráfrase correta por não repetir as palavras do gabarito. “Pedro condicionou a revisão ao recebimento dos arquivos” preserva a relação principal. Por outro lado, nomes e verbos iguais não garantem fidelidade: inverter sujeito e objeto em “Luiza cobrou Pedro” muda o acontecimento. A unidade de comparação deve ser a afirmação sustentada pela conversa.

4. Execute o teste e calcule medidas úteis

Prepare um conjunto com conversas curtas e longas, participantes com nomes semelhantes, correções explícitas e respostas como “sim” ou “pode ser”. Inclua casos claros e ambíguos em grupos separados. Use textos de exemplo ou registros autorizados e remova identificadores desnecessários sem apagar as relações entre os participantes.

Leia o diálogo com turnos numerados.
Resuma apenas decisões, solicitações e pendências.
Para cada item, informe: participante, ação, condição e turnos de apoio.
Separe fala direta de relato sobre outra pessoa.
Se a autoria não puder ser resolvida, escreva "atribuição incerta".
Não transforme sugestão em compromisso.

Conte, primeiro, quantas afirmações com atribuição explícita estão corretas entre todas as afirmações com atribuição produzidas. Essa medida não inclui os itens omitidos. Por isso, conte também quantos itens obrigatórios do gabarito aparecem corretamente. Informe numerador e denominador, além da porcentagem, para que uma amostra pequena não pareça conclusiva.

Em um exemplo puramente didático, se a saída contém dez atribuições e oito estão corretas, a precisão de atribuição é oito sobre dez. Se o gabarito tinha doze itens obrigatórios e oito foram recuperados corretamente, a cobertura é oito sobre doze. Esses números ilustram o cálculo e não representam desempenho de modelos.

Marque compromissos atribuídos à pessoa errada como falhas críticas quando essa for a regra do fluxo. Não permita que muitos acertos descritivos compensem a criação de uma obrigação inexistente. Para processos que apenas geram rascunhos, a equipe pode usar os resultados para orientar revisão; para tarefas automatizadas, defina previamente quais falhas impedem a continuação.

O QAFactEval investiga avaliação de consistência factual por perguntas e respostas. Uma adaptação manual útil é perguntar “quem pediu?”, “quem aceitou?” e “sob qual condição?” ao texto de origem e ao resumo. Essa verificação auxilia a revisão, mas não substitui o gabarito nem comprova sozinha a qualidade em português.

5. Exemplo: alinhamento de pedidos em uma loja de Recife

Imagine uma loja de uniformes em Recife que resume conversas internas de atendimento. Este é um exemplo brasileiro ilustrativo, inteiramente fictício. O diálogo fornecido ao avaliador é: T1, Camila: “A cliente pediu a retirada na sexta”. T2, Bruno: “Posso separar na quinta, se o pagamento for confirmado”. T3, Camila: “Ainda não confirmei o pagamento”. T4, Denise: “Eu verifico isso com a cliente”.

O gabarito distingue quatro informações: Camila relatou o pedido da cliente; Bruno indicou possibilidade de separação condicionada ao pagamento; Camila informou que a confirmação estava pendente; Denise assumiu verificar a situação com a cliente. A cliente não participa diretamente do diálogo. Atribuir a ela uma fala literal sem essa ressalva extrapola a entrada.

Um resumo aceitável seria: “Segundo Camila, a cliente pediu retirada na sexta. Bruno pode separar na quinta caso o pagamento seja confirmado. A confirmação está pendente, e Denise verificará a situação com a cliente”. O texto preserva autoria, condição e pendência, sem afirmar que o pagamento já ocorreu ou que a separação está garantida.

Uma saída como “Camila confirmou o pagamento e Denise separará o pedido na quinta” deve ser reprovada. Ela inverte uma negação, transfere a tarefa de Bruno e elimina a condição. Classificar apenas como “resumo parcialmente correto” não oferece orientação suficiente para corrigir a falha.

Na segunda rodada, troque apenas os nomes, mantendo as relações. Na terceira, acrescente “Bruno: corrigindo, posso separar na sexta”. O gabarito precisa refletir a correção e preservar o histórico se ele for relevante. Essas alterações controladas se relacionam aos testes metamórficos de modelos de linguagem e ajudam a localizar respostas apoiadas em padrões superficiais.

6. Erros comuns

• Confundir quem falou com quem executará. Uma pessoa pode relatar uma tarefa atribuída a outra. Guarde os dois campos.
• Interpretar “sim” sem sua pergunta. Vincule a resposta ao turno pertinente e considere intervenções de outros participantes.
• Apagar condicionais. “Faço se receber o arquivo” não autoriza resumir “vai fazer” sem a condição.
• Converter citação em confirmação. Relatar o que alguém disse não prova que o relato foi validado pelo próprio citado.
• Otimizar apenas fluência. Um texto elegante pode trocar participantes. Avalie fidelidade e legibilidade em etapas separadas.

Outro erro é revisar apenas o resumo, sem acesso ao diálogo original. O avaliador precisa localizar as evidências. Se a entrada é longa demais para a revisão manual pretendida, selecione uma amostra definida e declare o alcance da verificação. A página sobre organização de entrevistas de clientes com IA complementa o cuidado com evidências e interpretações.

7. Perguntas frequentes

Preciso comparar o resumo palavra por palavra?

Não. Compare afirmações, participantes, condições e evidências. Paráfrases podem ser corretas. Uma comparação literal serve para campos estruturados, como identificadores de turnos, mas não decide sozinha a fidelidade semântica do texto.

Como avaliar pronomes como “ela” e “ele”?

Resolva a referência somente quando houver apoio suficiente na conversa. Se duas pessoas forem possibilidades plausíveis, o gabarito deve registrar ambiguidade. Premiar um palpite específico ensina o sistema a ocultar incerteza.

Posso usar um segundo modelo para corrigir o primeiro?

Ele pode apontar divergências para uma revisão. Mantenha o diálogo e os turnos de apoio disponíveis. Faça uma amostra manual para verificar o avaliador, pois ele também pode repetir a troca de nomes ou aceitar uma promessa que não existe.

Omissão é sempre erro de atribuição?

Não. Omissão e atribuição incorreta são dimensões diferentes. Um resumo pode omitir um item obrigatório sem atribuí-lo a ninguém. Registre a perda de cobertura e use o objetivo do resumo para decidir sua gravidade.

Como saber se a mudança de prompt melhorou?

Use o mesmo conjunto reservado, o mesmo protocolo de anotação e registros comparáveis. Examine os erros críticos, além das médias. Melhoria nesse conjunto indica progresso local; não demonstra desempenho universal em qualquer tipo de diálogo.

8. Fontes e leitura recomendada

• SAMSum Corpus: pesquisa original sobre sumarização de diálogos e avaliação.
• DialogSum: pesquisa original sobre diálogos de situações cotidianas e seus desafios.
• FRANK: análise de tipos de inconsistência factual em resumos.
• QAFactEval: avaliação de consistência factual baseada em perguntas e respostas.