Para avaliar resumos de documentos que misturam português e inglês, confira cada afirmação contra o trecho original e separe três perguntas: o conteúdo está correto, as informações necessárias foram incluídas e a mudança de idioma preservou o sentido? Um texto fluente pode falhar em qualquer uma dessas etapas. A revisão precisa alcançar também anexos, tabelas e expressões que permaneceram em inglês.
O caminho mais prático é montar um pequeno conjunto de documentos representativos, registrar fatos essenciais com suas evidências e comparar versões do resumo usando a mesma rubrica. As orientações abaixo são um procedimento proposto para equipes brasileiras, não um resultado de benchmark. O objetivo é identificar erros que mudariam decisões de trabalho, sem transformar preferência de estilo em medida de precisão.
Resumo rápido
- Defina o idioma de saída e quais termos devem permanecer no original.
- Registre fatos obrigatórios e sua localização antes de julgar o resumo.
- Avalie português, inglês e trechos mistos separadamente.
- Trate negação, condições, números e responsáveis como verificações explícitas.
- Use métricas automáticas como sinais e mantenha revisão humana dos erros críticos.
O que muda quando o documento mistura idiomas
Um relatório pode ter introdução em português, especificação em inglês e comentários bilíngues na mesma tabela. Isso é diferente de simplesmente traduzir um documento inteiro. A revisão precisa acompanhar a origem de cada informação, inclusive quando uma única frase junta evidências de duas línguas. Registre o idioma por trecho quando necessário, em vez de atribuir apenas um idioma ao arquivo completo.
A literatura distingue a sumarização entre idiomas, na qual entrada e resumo usam línguas diferentes. O levantamento A Survey on Cross-Lingual Summarization organiza abordagens e desafios desse campo. Para a operação diária, a consequência é uma pergunta adicional: a escolha da tradução alterou a informação selecionada? Traduzir primeiro e resumir depois cria uma etapa intermediária que também precisa de inspeção.
Estabeleça uma política de terminologia. Nomes de produto, códigos de peças e rótulos de interface podem permanecer em inglês. Conceitos de negócio podem ganhar uma explicação em português na primeira ocorrência. A política deve indicar o que fazer com palavras ambíguas: “actual” pode descrever algo real, enquanto “atual” normalmente expressa relação com o presente. O contexto determina a interpretação aceitável.
Defina ainda a finalidade do resumo. Uma síntese para decidir compras exige condições comerciais; uma síntese para suporte precisa preservar sintomas e exceções. Avaliar tudo com a instrução vaga “resuma bem” dificulta distinguir uma omissão legítima de uma perda relevante. Escreva o público, a decisão pretendida e o limite de tamanho no formulário usado pelos revisores.
Monte referências verificáveis antes de gerar notas
Separe uma amostra que represente situações reais: documento predominantemente em português, documento predominantemente em inglês, tabela com cabeçalhos mistos, texto com siglas e documento com contradição entre versões. Use apenas materiais autorizados para esse fim. Se os arquivos contiverem informações restritas, trabalhe com cópias aprovadas ou exemplos sintéticos que mantenham a mesma estrutura linguística.
Para cada documento, crie uma ficha com identificador, versão, páginas e finalidade. Liste as informações que precisam aparecer no resumo e marque a evidência exata. Uma referência pode dizer: “A manutenção está prevista para domingo, desde que a peça seja liberada; evidência na página 4, parágrafo 2”. Evite referências que já resolvam uma ambiguidade que o original deixou aberta.
Não dependa somente de um resumo ideal escrito por alguém. Duas sínteses podem selecionar frases diferentes e continuar adequadas. Um inventário de fatos permite verificar equivalência de sentido sem exigir reprodução de palavras. Inclua também fatos proibidos: conclusões plausíveis que não têm apoio no documento, como tratar uma previsão como compromisso confirmado.
A localização faz parte da evidência. Quando o documento muda, a mesma página pode conter outro conteúdo. Associe a ficha à versão preservada e siga uma rotina de registro das versões de documentos citados por IA. Uma comparação sem essa ligação pode acusar erro no resumo quando, na verdade, o avaliador abriu uma edição diferente.
Antes da avaliação, duas pessoas devem revisar algumas fichas juntas. Se discordarem sobre o que é obrigatório, ajustem a especificação. Esse ensaio evita cobrar da ferramenta uma regra que a própria equipe ainda não consegue explicar. Guarde os exemplos de discordância para orientar novos revisores.
Use uma rubrica que separe fidelidade e cobertura
A tabela abaixo propõe dimensões independentes. Para cada item, registre “adequado”, “precisa de ajuste” ou “erro crítico”, com um comentário e uma evidência. Essas categorias são uma escolha operacional sugerida, não uma escala validada universalmente. Sua equipe deve definir quais falhas impedem a liberação conforme a decisão que o resumo apoiará.
| Dimensão | O que comparar | Falha que merece atenção |
|---|---|---|
| Fidelidade | Afirmação do resumo e evidência original | Previsão apresentada como fato confirmado |
| Cobertura | Resumo e lista de fatos obrigatórios | Omissão de condição que limita uma aprovação |
| Tradução | Sentido do trecho original e versão em português | Obrigação transformada em possibilidade |
| Atribuição | Pessoa, equipe ou documento responsável | Comentário do fornecedor atribuído ao cliente |
| Terminologia | Glossário aprovado e contexto | Sigla expandida com significado errado |
| Clareza | Compreensão pelo público definido | Pronome sem referente ou frase ambígua |
Fidelidade pergunta se a afirmação tem apoio no documento; cobertura pergunta se o resumo incluiu o necessário. Um texto pode ser fiel e insuficiente ao omitir a única condição decisiva. Pode também cobrir todos os tópicos e acrescentar uma conclusão sem evidência. Não deixe uma média geral esconder esses comportamentos diferentes.
O estudo On Faithfulness and Factuality in Abstractive Summarization examina conteúdo gerado sem apoio adequado na entrada. Já o SummEval oferece uma referência de pesquisa sobre avaliação de resumos. Esses trabalhos ajudam a organizar critérios; seus resultados não devem ser tratados como desempenho garantido de uma ferramenta no conjunto da sua empresa.
Se um erro altera responsável, prazo, valor ou obrigação, marque o impacto diretamente. Não compense a falha com pontos de redação elegante. Ao comparar configurações, mostre a distribuição das falhas por dimensão e por idioma, além da quantidade de documentos revisados. Assim o leitor consegue entender o alcance da observação.
Faça testes contrastivos e controle as comparações
Um teste contrastivo altera uma informação pequena e verifica se a saída acompanha a mudança. Crie uma cópia sintética na qual “approved” passa a “not approved”, ou “may” passa a “must”. O resumo precisa preservar essa diferença. Mantenha as demais partes iguais para que o resultado tenha uma causa interpretável.
Inclua valores com vírgula decimal, datas por extenso e números acompanhados de unidade. Evite esperar que o sistema adivinhe se “03/04” significa março ou abril. Quando a fonte não resolve a convenção, o comportamento desejado pode ser sinalizar a ambiguidade. Essa decisão precisa estar descrita na referência, em vez de surgir depois que o avaliador vê a resposta.
Compare instruções com os mesmos documentos, limite de tamanho e formato de saída. Registre a configuração da ferramenta, quando essa informação estiver disponível, e a data da execução. Oculte dos revisores o nome da configuração quando isso for viável. Avalie primeiro a evidência e só depois discuta qual sistema produziu o texto.
Uma instrução de teste pode pedir: “Produza o resumo em português do Brasil. Preserve códigos, atribua opiniões às suas fontes e mantenha condições e negações. Para cada ponto, informe página ou seção. Quando houver conflito entre idiomas ou versões, descreva o conflito sem escolher uma interpretação”. Verifique se as citações realmente apontam para a evidência mencionada.
Também confira a extração anterior ao resumo. Uma palavra ausente no texto enviado ao modelo pode ser um problema de leitura do arquivo. Na normalização Unicode em buscas com embeddings, diferenças de representação de caracteres recebem tratamento próprio. A especificação Unicode explica formas de normalização, mas normalizar caracteres não traduz termos nem resolve contradições semânticas.
Se usar uma métrica automática de semelhança, inspecione exemplos em que ela discorda do revisor. Sobreposição de palavras não comprova preservação de uma negação. Um avaliador automático adicional deve receber fonte e critérios, e suas justificativas também precisam ser auditadas. Reserve uma parte da amostra para confirmação humana, especialmente nos casos que mudariam uma decisão.
Exemplo: uma assistência industrial em Joinville
Considere um caso ilustrativo de uma assistência técnica de Joinville, em Santa Catarina. A equipe recebe um manual em inglês e uma ordem de serviço em português. O manual diz que determinado procedimento é permitido somente com o equipamento desenergizado; a ordem informa que a janela de manutenção ainda depende de confirmação do cliente. A coordenação quer um resumo para planejar o atendimento.
A ficha de referência marca duas condições obrigatórias, seus trechos e os responsáveis. Uma saída que diga “o atendimento está confirmado e o procedimento pode começar” falha mesmo que descreva corretamente a peça. O revisor identifica separadamente a perda da condição técnica e a alteração do status da agenda. Não é necessário atribuir uma nota numérica para tornar a rejeição clara.
Em outra saída, a IA mantém ambas as condições, mas traduz o nome comercial de uma peça e dificulta sua identificação no estoque. A falha entra em terminologia. A equipe ajusta o glossário para preservar o código e o nome comercial. Depois repete os testes com todos os documentos selecionados, pois uma correção local pode afetar outros tipos de trecho.
O caso não apresenta ganhos medidos de produtividade ou redução de erros. Ele mostra como estruturar uma decisão de aceite. Após a revisão, a coordenação ainda consulta os documentos operacionais antes de autorizar trabalho de campo. O resumo serve para organizar a informação e deixa visíveis as pendências que exigem confirmação.
Erros comuns
Avaliar somente o português final. O revisor pode aprovar uma frase natural sem perceber que a restrição estava na parte inglesa. A ficha precisa distribuir evidências entre os idiomas e incluir trechos em que ambos aparecem juntos.
Confundir omissão com contradição. Quando o resumo não menciona um prazo, registre perda de cobertura. Quando apresenta outro prazo, registre informação incompatível. Essa separação orienta a correção e evita conclusões imprecisas sobre a causa do problema.
Usar um glossário sem contexto. Uma mesma sigla pode ter sentidos diferentes em documentos distintos. Registre domínio e exemplos de uso. Não transforme toda ocorrência de uma palavra em substituição automática.
Modificar o critério depois de ver a resposta. Defina o que bloqueia a aprovação antes da comparação. Mudanças necessárias na rubrica devem ser documentadas e aplicadas novamente a todas as configurações avaliadas.
Perguntas frequentes
Devo traduzir tudo antes de resumir?
Você pode testar esse fluxo, mas precisa revisar também a tradução intermediária. Compare com o processamento direto usando os mesmos documentos. Escolha pelo tipo de erro observado e pela capacidade de rastrear a evidência, sem presumir que uma sequência é sempre superior.
É necessário um avaliador fluente nos dois idiomas?
Quem verifica uma afirmação precisa compreender sua fonte. A revisão pode ser dividida entre profissionais, desde que exista uma etapa conjunta para trechos mistos e conflitos de interpretação. Registre quem validou cada evidência.
Posso aceitar sinônimos na referência?
Sim. Julgue equivalência de sentido e adequação ao domínio. Preserve literalmente códigos e identificadores quando forem necessários para localizar um item. Para outros termos, explique as variantes aceitas na rubrica.
Como decidir quando liberar um resumo?
Defina critérios vinculados ao uso: ausência de erros críticos, fatos obrigatórios cobertos e evidências localizáveis. Documentos com ambiguidade podem exigir uma revisão adicional. Não existe uma nota universal que substitua essa decisão.
Fontes e leitura recomendada
- ACL: levantamento sobre sumarização entre idiomas.
- ACL: SummEval e avaliação de resumos.
- ACL: fidelidade e factualidade na sumarização.
- Unicode: formas de normalização de caracteres.
- W3C: declaração de idioma em conteúdo, útil para identificar trechos em páginas e interfaces de revisão.
