Para auditar depois uma resposta de IA, registre a versão exata de cada documento utilizado, preserve os trechos enviados ao modelo e conecte essas evidências à resposta final. Um link para o arquivo atual não basta: ele pode mudar, perder acesso ou desaparecer. O registro precisa permitir conferir quais bytes, texto extraído e fragmentos estavam disponíveis naquela execução.
A recomendação deste guia é criar um pacote de evidências por resposta, com identificadores próprios, hashes SHA-256, configurações de extração e recuperação, referências de citação e permissões de consulta. O desenho funciona como contrato de dados entre componentes e fornecedores. Ele permite reconstruir o contexto documentado; não promete reproduzir literalmente uma geração nem comprovar sozinho que a conclusão estava correta.
Resumo rápido
- Congele o conteúdo usado e atribua uma identidade própria a cada versão.
- Calcule hashes dos arquivos, do texto extraído e dos trechos recuperados.
- Registre extrator, fragmentação, busca e ordem do contexto enviado.
- Vincule cada citação à versão e ao intervalo que realmente existiam.
- Controle retenção e autorização do pacote de evidências.
- Informe quando uma exclusão impedir reconstrução completa.
Separe a citação exibida da fonte reconstruível
Uma citação exibida na interface é uma âncora: ajuda o leitor a localizar a origem associada a uma afirmação. A evidência reconstruível inclui a fonte preservada e a sequência de transformações que levou ao trecho consultado. Mostrar o nome de um PDF ou uma URL pode ser útil para navegação, mas deixa perguntas abertas sobre versão, extração e acesso.
A documentação da Anthropic descreve citações com localizações diferentes conforme o tipo de documento, incluindo páginas em PDFs e intervalos de caracteres em textos. Esses campos localizam conteúdo dentro da entrada correspondente. Para manter essa localização interpretável posteriormente, a recomendação é preservar a entrada exata e sua associação ao identificador interno.
O guia de citações em documentos no Claude explica o recurso de apresentação. Aqui, o foco é outro estágio: os dados necessários para investigar uma resposta depois, mesmo que a aplicação troque de fornecedor. Consulte também a página de integrações do Anthropic Claude ao planejar o fluxo de documentos.
Recomendação: mantenha uma estrutura interna comum e adaptadores para o formato original de cada serviço. Guarde ambos quando houver permissão. Não transforme um intervalo de páginas em intervalo de caracteres sem uma regra registrada, e não descarte informações de origem só porque o formato comum possui menos campos.
Preserve versões imutáveis e hashes verificáveis
Use um identificador lógico para o documento e outro para cada versão. Uma política pode continuar sendo POLITICA-ENTREGA enquanto suas versões recebem identificadores diferentes. Recomendação: publique uma nova versão a cada alteração relevante, sem sobrescrever o objeto consultado por respostas anteriores. Registre vigência e substituição como atributos separados.
Guarde os bytes originais quando isso for permitido. Calcule SHA-256 sobre esses bytes e registre algoritmo, tamanho e tipo de arquivo. O hashlib do Python oferece esse algoritmo. Durante a auditoria, recalcule o resumo e compare com o valor registrado. A divergência deve interromper a reconstrução automática e abrir uma ocorrência de integridade.
O hash identifica uma representação de conteúdo. Ele não prova autoria, data de criação, validade de uma política ou autorização para guardá-la. Se um operador puder alterar livremente o arquivo e seu manifesto, a comparação terá pouco valor como controle contra adulteração. Recomendação: separe permissões de gravação e auditoria e proteja também os manifestos.
Armazenamento com versionamento e bloqueio de objetos pode apoiar esse desenho. A documentação do Amazon S3 explica que Object Lock protege versões de objetos, com retenção e retenção legal. Os detalhes dependem da configuração. Essa é uma opção técnica, não uma exigência universal nem uma declaração de adequação jurídica para qualquer documento.
| Registro | Conteúdo recomendado | Pergunta que ajuda a responder |
|---|---|---|
| Documento | ID lógico, proprietário, classificação | Qual fonte estava sob responsabilidade de quem? |
| Versão | ID imutável, hash original, vigência | Qual conteúdo existia naquele momento? |
| Extração | Extrator, versão, configuração, hash textual | Que representação foi produzida? |
| Recuperação | Trechos, ordem, filtros, índice | O que chegou ao contexto? |
| Resposta | Texto final, citações, execução | O que o usuário recebeu? |
Registre extração, fragmentos e recuperação
Um PDF e seu texto extraído são objetos diferentes. OCR, a leitura de texto em imagens, pode introduzir erros ou mudar a ordem das colunas. Mesmo sem OCR, cabeçalhos, tabelas e quebras de linha afetam a representação. Recomendação: registre o programa extrator, sua versão exata, configuração e o hash do resultado que alimentou a busca.
Atribua uma identidade à operação de extração. Para cada fragmento, registre o documento de origem, sua versão, a operação de extração, o texto exato e seu hash. Acrescente a posição no texto extraído ou um mapeamento verificável para páginas e regiões. Defina se intervalos contam bytes, caracteres ou outra unidade, incluindo a regra do limite final.
Registre também a fragmentação: regra de divisão, tamanho configurado, sobreposição e versão do código. Se houver normalização de espaços, remoção de cabeçalhos ou tratamento de tabelas, conserve essa transformação no histórico. Recomendação: mantenha a representação intermediária usada, porque executar um extrator atualizado sobre o original pode gerar trechos diferentes.
Na recuperação, guarde consulta efetiva, filtros, versão do índice, identificador do modelo de embeddings e candidatos selecionados. Preserve a ordem final dos trechos enviados ao modelo e eventuais pontuações com seus nomes e significados. Um valor de similaridade não deve ser apresentado como probabilidade de a resposta estar correta.
Para aprofundar a etapa de consulta, veja o guia de busca híbrida com BM25 e vetores. A recomendação de auditoria é guardar o resultado efetivo da busca e sua configuração, em vez de depender de uma nova consulta a um índice que já pode ter recebido documentos ou filtros diferentes.
Monte o pacote de evidências e controle o acesso
O pacote recomendado reúne o identificador da execução, horário com fuso explícito, referência do usuário ou serviço, decisão de autorização, versões dos documentos, contexto ordenado, instruções aplicáveis e resposta entregue. Registre também o fornecedor, o identificador de modelo retornado ou solicitado e os parâmetros disponíveis. Não inclua credenciais, cabeçalhos de autenticação ou segredos.
A especificação PROV do W3C organiza proveniência em entidades, atividades e agentes. Esse vocabulário ajuda a pensar no documento como entidade, na extração como atividade e no serviço responsável como agente. Não é necessário implementar toda a especificação para aproveitar a distinção. Recomendação: documente relações explícitas de derivação e responsabilidade no seu esquema.
Determine quem pode consultar cada evidência. Ter acesso ao histórico da conversa não deve conceder automaticamente acesso irrestrito aos documentos originais. Recomendação: avalie autorização no momento da abertura do pacote e registre a consulta de auditoria. Use referências restritas nos sistemas gerais de observabilidade, evitando copiar documentos integrais para logs de acesso amplo.
Defina prazo, finalidade e responsável pela retenção antes de ativar armazenamento imutável. O prazo deve vir da política aplicável à organização, com avaliação das obrigações concretas. Este guia oferece arquitetura técnica, sem estabelecer uma duração legal. Imutabilidade e eliminação precisam ser conciliadas no desenho de retenção, e não somente quando surgir um pedido.
Recomendação: registre exclusões com um evento mínimo que explique o que deixou de estar disponível, quando, por qual procedimento e qual extensão da auditoria foi perdida. Remova também cópias, índices e caches que estejam dentro do escopo aprovado de eliminação. Não prometa reconstrução integral se os bytes ou o texto foram legitimamente apagados.
Exemplo: assistência técnica em Joinville
Imagine uma assistência técnica de equipamentos em Joinville que usa IA para consultar manuais internos. O cenário é ilustrativo. Um atendente recebe uma resposta sobre a autorização necessária para substituir uma peça. Mais tarde, a regra muda e a empresa precisa entender por que a resposta anterior apresentou determinado procedimento.
Na implementação recomendada, a resposta aponta para MANUAL-A, versão V1, e para o fragmento F12 da extração E1. O pacote preserva o texto enviado, o hash do manual e a regra de autorização que permitiu a consulta. A publicação da versão V2 não modifica esse registro. A interface mostra que V1 foi usada naquela execução e que existe uma versão posterior.
O auditor autorizado recalcula os hashes e abre o fragmento preservado. Depois compara a afirmação com o contexto e identifica se ela estava apoiada, se houve erro de extração ou se o assistente aplicou a regra de maneira inadequada. Nenhum ganho de produtividade ou taxa de acerto é presumido neste exemplo.
Para testar a reconstrução, a equipe altera o arquivo corrente sem alterar o snapshot e confirma que a auditoria continua abrindo V1. Em outro ensaio, remove uma evidência conforme procedimento e verifica se o sistema informa reconstrução parcial. São testes propostos; os resultados precisam ser medidos na aplicação implementada.
Erros comuns
Guardar apenas a URL. O endereço pode permanecer igual enquanto o conteúdo muda. Recomendação: associe a URL observada ao snapshot autorizado, seu hash e a data de captura. Se não houver direito de preservar o conteúdo, declare essa limitação e use os registros permitidos sem prometer recuperação futura.
Guardar o PDF e esquecer o contexto enviado. A busca pode ter retornado apenas fragmentos específicos, em uma ordem particular. Recomendação: conserve a entrada efetiva do modelo. Isso distingue falha de recuperação, falha de extração e conclusão sem apoio, mesmo quando o documento original contém a informação correta.
Confundir repetição com reconstrução. Uma nova chamada pode devolver outro texto. Recomendação: separe reconstituição do contexto histórico de reexecução experimental. Preserve a resposta original e apresente a nova execução como comparação, com suas próprias configurações e identificador.
Reter tudo indefinidamente. Histórico excessivo amplia o material que precisa de controle. Recomendação: guarde o necessário para a finalidade aprovada e estabeleça eliminação verificável. Consulte também observabilidade de agentes de IA para separar métricas operacionais de evidências documentais restritas.
Perguntas frequentes
O hash substitui a cópia do documento?
Não. Ele permite comparar conteúdo disponível com um valor registrado. Se todas as cópias autorizadas desaparecerem, o hash não recupera o texto. Recomendação: preserve a representação necessária quando permitido e indique explicitamente os casos em que só existe uma referência de integridade.
Preciso guardar todos os candidatos da busca?
Depende do objetivo de auditoria. Para reconstruir o contexto, os trechos efetivamente enviados são essenciais. Para investigar por que um trecho relevante ficou de fora, a lista de candidatos e as etapas de seleção ajudam. Recomendação: defina essa profundidade antes de escolher custos e retenção.
Posso alterar uma evidência para corrigir um erro?
Recomendação: acrescente uma correção vinculada ao registro original, sem reescrever silenciosamente o passado. Se a informação exigir eliminação, siga o procedimento aplicável e registre a limitação restante. Correção do conteúdo corrente e preservação do que ocorreu são operações diferentes.
Como lidar com documentos excluídos?
Retire o documento das consultas futuras conforme a política definida e trate separadamente as evidências históricas. Uma exclusão na busca não comprova eliminação do armazenamento. Quando o conteúdo histórico também for removido, apresente a auditoria como parcial e mantenha somente os registros residuais autorizados.
Uma resposta com citações está automaticamente correta?
Não. O trecho pode existir e ainda assim não sustentar a conclusão. Recomendação: avalie presença da fonte, integridade da versão, fidelidade da interpretação e adequação da decisão. O pacote torna essa análise possível, mas não substitui revisão humana quando ela for necessária.
