Para avaliar resumos de depoimentos com modelos abertos, compare cada afirmação do resumo com a transcrição e com o falante que a produziu. Separe fidelidade, cobertura, negação, sequência temporal e localização da evidência. Um texto fluente pode atribuir uma fala à pessoa errada ou transformar uma dúvida em certeza.
Modelos na faixa de 14B a 32B são candidatos para um teste controlado, não uma garantia de qualidade jurídica. Este roteiro propõe uma avaliação reproduzível de transcrições em português, com revisão humana e critérios de bloqueio. Não apresenta resultados de benchmark nem declara um vencedor entre modelos.
Resumo rápido
- Defina fatos essenciais e trechos de suporte antes de gerar os resumos.
- Troca de falante, inversão de negação e citação inventada devem aparecer separadamente na avaliação.
- Compare os mesmos documentos, configuração e limite de saída para cada candidato.
- Use um segundo modelo para localizar problemas, mantendo pessoas responsáveis pela decisão final.
- Comece com depoimentos sintéticos; dados reais exigem finalidade, acesso e ambiente aprovados.
O que exatamente o teste precisa preservar
Um resumo útil reduz leitura sem alterar o conteúdo atribuído aos participantes. A unidade de avaliação deve ser uma afirmação verificável: alguém declarou que recebeu uma ligação, negou conhecer uma pessoa ou não conseguiu precisar a data. Essa unidade é menor que um parágrafo e pode ter mais de um trecho de apoio.
Registre quem falou, o conteúdo, a polaridade e a referência temporal. Separe observação direta de relato de terceiros. “Vi o veículo” e “minha vizinha disse que viu o veículo” não podem compartilhar a mesma anotação. A incerteza também pertence ao conteúdo: “acho que foi na terça” não equivale a uma data confirmada.
O produto esperado é um rascunho de consulta, acompanhado de evidências. Avaliar credibilidade, inferir culpa ou decidir relevância jurídica são objetivos diferentes e não entram automaticamente no teste de resumo. Se o escritório precisa de uma cronologia, declare isso no contrato da tarefa para evitar comparar saídas com propósitos distintos.
Antes de escolher ferramentas, a equipe pode usar o guia de avaliação de modelos em português para organizar casos e critérios. Aqui, o recorte é mais específico: preservar o depoimento e permitir que outra pessoa confira a origem de cada afirmação.
Como montar uma referência auditável
Crie um conjunto inicial de transcrições sintéticas com situações fáceis e difíceis. Inclua interrupções, autocorreções, nomes semelhantes, datas aproximadas, frases negativas e divergências entre participantes. Marque cada turno com identificador estável, como F02-T018. Não use apenas a posição de caracteres se a transcrição ainda será corrigida.
Dois revisores devem anotar independentemente os fatos essenciais e reconciliar diferenças. Esse processo revela ambiguidades no próprio gabarito. Quando o texto não permite concluir algo, a referência deve registrar a ambiguidade em vez de forçar uma resposta. Guarde a decisão e o motivo para que futuras revisões não mudem silenciosamente o padrão.
Separe desenvolvimento e teste final por depoimento completo, não por parágrafo. Trechos do mesmo caso em conjuntos diferentes podem dar uma impressão otimista de generalização. Congele o teste final antes do ajuste de prompt. A quantidade necessária depende da variedade de falantes, duração e ruído; um lote pequeno serve para depurar o método, não para prometer segurança operacional.
Se forem necessários dados reais, autorize a finalidade e o ambiente antes da cópia. A LGPD estabelece princípios de tratamento e medidas de segurança. Rodar localmente não resolve, por si só, base legal, sigilo, retenção ou acesso. Pseudônimos também podem permitir reidentificação pelo contexto. O guia de LGPD na implantação de IA ajuda a organizar essa análise.
Uma régua por falante, negação, tempo e citação
Use uma planilha de erros por afirmação e uma síntese por documento. A tabela abaixo é uma proposta de desenho do teste, não uma norma oficial. Os responsáveis pelo uso devem aprovar quais falhas impedem liberar um resumo.
| Dimensão | Verificação | Falha a registrar |
|---|---|---|
| Falante | Autor e papel conferem com o turno? | Declaração atribuída a outra pessoa |
| Negação | A polaridade e seu alcance foram preservados? | “Não vi” vira “vi” |
| Tempo | Data e ordem respeitam a incerteza original? | Estimativa vira data exata |
| Citação | O trecho citado existe e sustenta a frase? | Referência real, mas sem apoio ao conteúdo |
| Cobertura | Os fatos essenciais anotados estão presentes? | Omissão de ressalva que muda o sentido |
| Contaminação | O resumo mistura participantes ou versões? | Combinação de falas incompatíveis |
Calcule a proporção de afirmações sustentadas entre todas as afirmações verificáveis emitidas. Para cobertura, use os fatos essenciais da referência como denominador. Publique os dois números acompanhados das contagens. Um resumo vazio pode ter poucas afirmações falsas e cobertura inútil; um resumo longo pode cobrir tudo e acrescentar conteúdo sem suporte.
Mantenha uma contagem própria para erros críticos. A média de estilo não deve compensar uma troca de falante. Como regra interna conservadora, pode-se encaminhar todo resumo com inversão de negação ou citação inventada para revisão integral. Essa é uma escolha de controle proposta, não evidência de que os demais resumos estejam corretos.
Também verifique o denominador de cada dimensão. Um depoimento sem datas não demonstra habilidade temporal. Apresente resultados por grupos com datas, negações e múltiplos falantes. Sem essa separação, casos simples podem esconder o comportamento que realmente interessa à equipe.
Como comparar candidatos de 14B e 32B
As páginas oficiais de Qwen2.5-14B-Instruct e Qwen2.5-32B-Instruct permitem identificar dois candidatos concretos de pesos disponíveis. Elas documentam suporte multilíngue, incluindo português. Isso justifica incluí-los numa lista de teste, mas não comprova competência em depoimentos brasileiros.
Registre revisão dos pesos, tokenizer, template de conversa, quantização, mecanismo de inferência e configurações de geração. Um arquivo quantizado e outro em precisão diferente são configurações distintas. Fixe também a transcrição, a estratégia de divisão e o limite do resumo. Se mudar qualquer componente, dê outro identificador à execução.
Um prompt inicial pode pedir: “Resuma somente declarações presentes. Para cada tópico, informe falante e turnos de evidência. Preserve negações, incertezas e divergências. Não conclua sobre credibilidade. Se não houver suporte, indique ausência de informação”. Mantenha o texto documental delimitado como dados, sem permitir que instruções dentro dele mudem a tarefa.
Teste primeiro documentos que cabem integralmente no contexto configurado. Depois avalie separadamente o fluxo por blocos, com sobreposição e identificadores preservados. A fusão dos resumos parciais é outra etapa sujeita a erro. Reavalie o resultado final contra a transcrição original, pois conferir apenas os resumos intermediários deixa passar perdas acumuladas.
Meça tempo de execução, memória e tempo de revisão humana no equipamento real. O guia de quantização de modelos explica por que a configuração deve acompanhar o nome do modelo. Não deduza latência ou custo apenas pelo número de parâmetros. Repita as execuções para observar variação e relate falhas, truncamentos e saídas vazias.
Exemplo: revisão de uma transcrição em Curitiba
Imagine um escritório em Curitiba avaliando um resumo de audiência inteiramente fictícia. A participante A declara no turno A-12: “Não vi o pagamento. A gerente comentou comigo depois”. No turno B-09, outro participante afirma: “Acho que a conversa foi antes do feriado”. A tarefa é resumir as declarações, sem decidir qual versão é verdadeira.
Uma saída aceitável seria: “A informou não ter presenciado o pagamento e relatou comentário posterior da gerente [A-12]. B situou a conversa possivelmente antes do feriado, sem precisar a data [B-09]”. O revisor encontra a origem de cada frase e verifica tanto a negação quanto a natureza indireta do primeiro relato.
Uma saída problemática seria: “A confirmou o pagamento antes do feriado”. Ela reúne um evento não observado, uma data incerta de outro participante e um verbo que aumenta a certeza. Conte os problemas separadamente, mantendo a ocorrência vinculada ao mesmo resumo. Não classifique tudo como uma única falha genérica de alucinação.
No piloto ilustrativo, os avaliadores recebem saídas sem identificação do modelo e em ordem embaralhada. Cada pessoa marca os problemas antes da discussão conjunta. A equipe registra discordâncias e minutos de conferência, sem inventar economia de tempo. Só depois de reunir observações reais é possível comparar configurações e estimar esforço operacional.
Erros comuns
Avaliar apenas semelhança de palavras. Duas frases podem compartilhar quase todo o vocabulário e divergir por um “não”. Métricas automáticas de sobreposição podem ser auxiliares, mas a aprovação deve verificar o vínculo entre afirmação e evidência.
Confiar no avaliador automático como árbitro. Um segundo modelo pode apontar trechos suspeitos e sugerir categorias. Ele também pode deixar passar erros. Calibre suas marcações com revisão humana, incluindo exemplos em que uma citação correta acompanha conclusão indevida. Veja o guia de avaliadores em português para estruturar essa camada.
Usar uma nota única para decidir. Fluência, cobertura e fidelidade têm funções diferentes. Preserve métricas separadas e uma lista de falhas que bloqueiam a liberação. Uma apresentação bonita não reduz a gravidade de atribuir uma confissão inexistente.
Esquecer a transcrição e os registros. Erros de reconhecimento de fala precisam ser avaliados antes do resumo. Preserve a versão utilizada, mas restrinja gravações, saídas e logs: eles também podem conter dados pessoais. O pacote de auditoria deve permitir reprodução por quem tem autorização, sem distribuir os documentos indiscriminadamente.
Perguntas frequentes
Um modelo de 32B será sempre melhor que um de 14B?
Não há essa conclusão neste roteiro. Compare configurações completas no conjunto reservado e examine erros críticos. Uma diferença média precisa ser interpretada à luz dos casos e da variação, não tratada como vitória universal.
Posso avaliar com um único resumo de referência?
Ele ajuda, mas pode impor uma redação desnecessariamente específica. Prefira também uma lista de fatos essenciais e evidências. Assim, o teste aceita formulações diferentes que preservem o significado e identifica omissões relevantes.
Como tratar uma transcrição ambígua?
Marque a ambiguidade e espere que o resumo a preserve. Se o falante ou a data não puder ser determinado, a resposta correta é manter essa limitação. Uma conclusão mais específica não deve ganhar pontos por parecer organizada.
É necessário publicar o conjunto de avaliação?
Não para tornar a avaliação internamente auditável. Preserve versões, critérios e registros sob controle de acesso. Para compartilhar o método externamente, prefira casos sintéticos revisados e estatísticas que não exponham participantes ou processos.
Qual ferramenta organiza as métricas?
Uma planilha versionada já permite começar. A documentação do Hugging Face Evaluate descreve ferramentas para executar avaliações. A escolha do software não substitui a referência anotada, os critérios por dimensão nem a análise humana das divergências.
