Para montar um conjunto brasileiro de teste de factualidade para IA, transforme documentos em perguntas com evidências localizáveis, respostas aceitáveis e regras explícitas para recusar respostas sem suporte. O material precisa preservar a versão do documento, o português usado no trabalho e as divergências entre anotadores. Uma planilha de perguntas sem essas informações testa também a interpretação de quem corrige, sem permitir separar os problemas.
Este guia propõe um processo de construção e manutenção do conjunto. A meta é verificar se uma resposta corresponde ao documento apresentado, dentro do escopo definido. Isso é diferente de provar que toda informação daquele documento continua verdadeira no mundo. Um manual antigo pode ser reproduzido fielmente e ainda levar a uma orientação inadequada hoje.
Resumo rápido
- Defina primeiro a decisão de trabalho que o teste precisa representar.
- Preserve o arquivo original, sua versão e o caminho da evidência.
- Inclua respostas ausentes, documentos conflitantes e perguntas com premissas falsas.
- Separe os conjuntos por família documental para reduzir vazamento.
- Revise anotações com divergência e publique um histórico de mudanças.
1. Defina o contrato do teste antes de coletar PDFs
Comece escrevendo uma frase operacional: “O assistente deve responder a dúvidas de fornecedores usando apenas o regulamento e os anexos vigentes fornecidos”. Essa frase define o que conta como evidência, quando buscar outro documento e quando admitir que falta informação. Sem ela, uma pessoa pode premiar conhecimento externo enquanto outra exige citação literal.
Defina o público, o domínio, os tipos de documento, o período coberto e os usos excluídos. “Documentos brasileiros” é uma descrição ampla demais. Uma seleção de editais municipais não representa contratos privados, nem manuais de equipamentos. Documente também se o teste entrega os trechos corretos ao modelo ou exige que o sistema os encontre.
Na primeira modalidade, você isola a interpretação da evidência. Na segunda, avalia a cadeia de recuperação e resposta. O guia de RAG com documentos e bancos vetoriais ajuda a entender essa diferença. Guarde o mesmo conjunto documental para que uma troca no mecanismo de busca não altere silenciosamente o objeto do teste.
Escreva ainda os critérios de aceitação por item: fatos obrigatórios, qualificadores, unidades, datas e inferências proibidas. Uma resposta pode usar palavras diferentes do gabarito e continuar correta. Já omitir “somente para associados” pode transformar uma resposta aparentemente boa em uma orientação errada.
2. Selecione fontes e preserve a identidade documental
Monte um inventário com origem, responsável, título, data de obtenção, versão declarada e condições de uso. Prefira documentos com autoria identificada e contexto suficiente para interpretar seus anexos. Quando houver dados pessoais ou informação de cliente, faça a análise de acesso e prepare uma cópia adequada ao teste antes da anotação.
Um documento estar acessível na internet não resolve automaticamente todas as questões de reutilização. Registre a licença ou a autorização que fundamenta seu uso no projeto. Para material interno, defina quem pode visualizar o conjunto e se o envio a um serviço externo é autorizado. Consulte o guia de segurança e LGPD na implantação de IA para organizar essa análise com a equipe responsável.
Guarde o arquivo original e o texto extraído como objetos distintos. Calcule uma impressão digital do arquivo para detectar mudanças de conteúdo; ela identifica os bytes, mas não certifica autenticidade ou correção. Registre a ferramenta e a configuração de extração. Um erro de reconhecimento de caracteres pode trocar um valor e contaminar todas as perguntas derivadas dele.
Preserve cabeçalhos, rodapés relevantes, tabelas e vínculos com anexos. Número de página do PDF e numeração impressa podem divergir; registre ambos quando necessário. O modelo de proveniência PROV, do W3C, fornece conceitos para descrever entidades, atividades e responsáveis. Você pode aproveitar esses conceitos numa planilha simples, sem adotar toda a infraestrutura da especificação.
3. Construa uma matriz de casos em português brasileiro
Distribua os itens por dificuldade e por fenômeno linguístico. Inclua siglas explicadas e não explicadas, valores em reais, vírgula decimal, datas por extenso, referências cruzadas e condições como “salvo”, “exceto” e “desde que”. O objetivo é representar o trabalho real, sem inserir armadilhas artificiais em toda pergunta.
| Tipo de item | O que deve aparecer | Critério do gabarito |
|---|---|---|
| Extração direta | Prazo informado em um parágrafo | Valor, unidade e condição corretos |
| Composição | Regra no corpo e exceção no anexo | Combinar as duas evidências |
| Ausência | Pergunta cuja resposta não está disponível | Declarar a insuficiência sem inventar |
| Conflito | Duas versões sem precedência resolvida | Expor a divergência e pedir definição |
| Premissa falsa | Pergunta pressupõe benefício inexistente | Corrigir a premissa usando o texto |
Separe fatos afirmados, negados e não mencionados. “O documento não informa entrega aos sábados” não equivale a “a empresa proíbe entrega aos sábados”. Essa distinção deve estar no manual de anotação e aparecer em exemplos de treinamento dos revisores.
Crie perguntas a partir de necessidades reconhecíveis: quem precisa fazer o quê, até quando, em qual situação. Depois acrescente variações coloquiais, com abreviações que os usuários realmente empregam. Guarde a pergunta original e a versão normalizada para investigar diferenças de interpretação sem perder a linguagem de uso.
4. Anote evidências e resolva divergências
Cada registro deve conter identificador estável, pergunta, documentos autorizados, trechos de evidência, resposta de referência, fatos exigidos, erros críticos e status de revisão. Inclua a identificação da versão do manual usada pelo anotador. “Correto” sozinho não explica qual regra foi aplicada.
{
"item_id": "fornecedor-017",
"documento": "regulamento-v2",
"pergunta": "Qual prazo vale para a unidade B?",
"evidencias": [{"pagina_pdf": 4, "secao": "3.2"}],
"resposta_esperada": "Prazo do anexo B, condicionado ao cadastro aprovado",
"qualificadores_obrigatorios": ["cadastro aprovado"],
"status": "revisado"
}O exemplo mostra um formato de trabalho, não um documento real. Num conjunto utilizável, o trecho citado e o prazo exato também precisam estar presentes. Mantenha identificadores em vez de depender apenas do nome do arquivo, que alguém pode renomear.
Peça que duas pessoas anotem uma amostra independentemente antes de discutir os resultados. Classifique divergências: evidência ambígua, pergunta mal formulada, regra incompleta ou erro de leitura. A pessoa que arbitra deve registrar a decisão e sua justificativa. Quando o problema estiver na pergunta, reescreva o item em vez de forçar consenso sobre um gabarito frágil.
Uma IA pode ajudar a sugerir perguntas e localizar candidatos a evidência. Trate essa saída como rascunho. Se a mesma ferramenta cria o item, escreve o gabarito e aprova sua própria resposta, o processo pode repetir uma suposição errada em todas as etapas. A revisão humana deve voltar ao documento original, especialmente em tabelas e exceções.
5. Separe desenvolvimento, teste e versões
Agrupe arquivos da mesma família antes de dividir o conjunto. Um edital e sua retificação não deveriam cair em lados opostos sem uma decisão explícita. Perguntas quase iguais e trechos repetidos também podem vazar a resposta para o material usado no desenvolvimento. Registre os critérios de agrupamento e execute uma busca por duplicatas.
Reserve um conjunto para ajustar instruções e outro para a verificação final. Restrinja o acesso ao gabarito final para quem configura o sistema. Se alguém usa um erro desse conjunto para melhorar o produto, marque essa exposição e planeje uma renovação controlada. Um teste deixa de representar uma surpresa quando vira material recorrente de ajuste.
Versione documentos, itens e regras separadamente. Corrigir uma vírgula na pergunta é diferente de trocar a resposta correta porque o regulamento mudou. Registre inclusão, retirada, alteração de evidência e mudança de classificação. Não compare números agregados de duas versões como se fossem o mesmo teste sem verificar quais itens permaneceram equivalentes.
Prepare uma ficha do conjunto com propósito, composição, coleta, revisão, limites e manutenção. O artigo acadêmico Datasheets for Datasets propõe documentar essas dimensões; a documentação de dataset cards do Hugging Face oferece um formato prático de publicação. Nenhum dos dois dispensa a decisão local sobre cobertura e qualidade dos itens.
Exemplo: documentos de uma cooperativa em Londrina
Imagine uma cooperativa de compras em Londrina que atende fornecedores de material de escritório. O caso é ilustrativo. A equipe quer testar respostas sobre cadastro e recebimento usando um regulamento fictício, um formulário e uma tabela de horários. O formulário solicita um contato, mas não define prazo de aprovação.
A primeira pergunta seria “Quanto tempo leva para aprovar meu cadastro?”. O gabarito exige dizer que os documentos fornecidos não informam esse prazo. Outra pergunta combina o regulamento com a tabela para saber quando uma entrega pode ser recebida. A evidência precisa incluir a regra geral e a linha referente à unidade consultada.
Durante a revisão, uma pessoa interpreta “entrega mediante agendamento” como garantia de recebimento no mesmo dia. Outra aponta que isso não está escrito. A arbitragem registra que agendamento é condição de acesso, sem promessa de disponibilidade. Esse registro passa a orientar itens semelhantes, preservando o limite entre texto e inferência.
Quando chega uma nova tabela, a equipe cria outra versão do documento e dos itens afetados. O conjunto anterior permanece disponível para reproduzir verificações antigas, com indicação de que descreve outra versão operacional. Assim, uma mudança de regra não aparece como falha inexplicável do assistente.
Erros comuns
- Usar apenas perguntas fáceis: a cobertura precisa incluir exceções, ausências e conflitos que aparecem no atendimento.
- Tratar concordância verbal como factualidade: uma resposta elegante pode perder uma condição essencial.
- Corrigir pelo conhecimento do revisor: o contrato do teste deve definir se fontes externas são permitidas.
- Apagar itens problemáticos sem registro: mantenha motivo, versão e responsável pela retirada.
- Confundir documento com texto extraído: confira evidências no original antes de fixar o gabarito.
Perguntas frequentes
Quantas perguntas preciso criar?
Não existe um número que assegure representatividade em qualquer domínio. Comece com cobertura explícita das decisões e tipos de erro relevantes. Amplie os estratos pouco representados e documente a incerteza, em vez de escolher apenas uma meta de volume.
Posso usar documentos públicos?
Pode ser uma boa fonte, mas registre origem, condições de reutilização e eventuais restrições. Avalie também informações pessoais e anexos. Acesso público e adequação para distribuição em um conjunto de teste são perguntas diferentes.
O gabarito deve ser uma frase única?
Não necessariamente. Defina fatos obrigatórios, variações aceitáveis e qualificadores. Isso permite respostas naturais sem aceitar omissões que mudam o sentido. Para itens sem resposta, explique o que falta e qual recusa é adequada.
Como lidar com uma retificação?
Preserve a versão anterior e registre a relação entre os documentos. Atualize os itens atingidos e suas evidências. Informe quais resultados continuam comparáveis, evitando substituir o arquivo original em silêncio.
