Para limpar cabeçalhos e rodapés antes de indexar documentos em RAG, combine posição na página, repetição entre páginas e revisão de exceções. Remova os elementos confirmados da representação destinada à busca, preservando o arquivo original e a ligação de cada trecho com sua página de origem. RAG é a técnica de recuperar documentos para apoiar uma resposta de IA.
Uma frase repetida não é automaticamente descartável. A identificação da versão de um manual pode estar no rodapé; uma ressalva contratual pode aparecer em todas as páginas. O objetivo é separar decoração editorial, contexto documental e conteúdo consultável sem apagar informações que mudam a interpretação do texto.
Resumo rápido
- Extraia texto com coordenadas e mantenha o número da página original.
- Encontre candidatos nas margens e compare recorrências dentro do mesmo documento.
- Trate tabelas, notas e avisos como exceções que precisam de contexto.
- Guarde título, versão e classificação em metadados quando forem relevantes.
- Valide exclusões e perguntas reais antes de substituir o índice existente.
Por que a limpeza precisa acontecer antes da divisão em trechos
Imagine um manual em que cada página termina com endereço, telefone e nome da empresa. Se esse material acompanha todos os parágrafos indexados, uma busca pode recuperar fragmentos que compartilham principalmente essas expressões. O efeito concreto depende do mecanismo de busca e do acervo; não existe percentual universal de melhoria que dispense avaliação.
A limpeza deve preceder a divisão em trechos, também chamada de chunking. Depois dessa divisão, o rodapé pode ficar colado à frase anterior ou separado de sua página. Reconstruir sua posição se torna mais difícil. Primeiro identifique blocos e margens, depois gere uma representação textual e só então estabeleça os limites dos fragmentos.
Antes de alterar a ingestão, registre o comportamento atual. Escolha perguntas sobre procedimentos, exceções e versões; guarde os trechos recuperados. Esse conjunto será usado para comparar o processamento anterior com o novo. O guia de RAG com bancos vetoriais ajuda a entender onde essa etapa entra na arquitetura.
Defina também o que significa sucesso para o negócio. Uma redução no número de palavras não basta. O teste precisa mostrar que as respostas continuam encontrando prazos, responsáveis e condições específicas, além de apresentar uma referência que o usuário consegue conferir no documento original.
Extraia a geometria e identifique a família do documento
Evite iniciar com um arquivo de texto que já perdeu as páginas. Guarde largura, altura, rotação, blocos e coordenadas. A documentação do PyMuPDF sobre extração descreve saídas com posições de blocos e palavras. Esses dados permitem inspecionar candidatos visualmente, sem depender apenas da sequência de caracteres.
A ordem extraída também merece revisão. Um cabeçalho visualmente no topo pode aparecer depois do corpo no texto extraído. As receitas de texto do PyMuPDF explicam esse problema e opções de ordenação. Ordenar não equivale a reconhecer um cabeçalho: são decisões diferentes dentro da ingestão.
Separe famílias antes de calibrar regras: contratos digitalizados, manuais exportados de editor de texto, apresentações e relatórios de sistemas. Dentro de um PDF composto, anexos podem mudar completamente o desenho. Uma faixa segura para o manual pode cortar a primeira linha de um anexo com margens menores.
Normalize posições em relação à altura e à largura, em vez de pressupor um tamanho único de papel. Confirme a convenção de coordenadas usada pela biblioteca. O exemplo de exclusão por posição do pypdf é útil como referência, mas seus limites numéricos pertencem ao documento demonstrado. A própria documentação alerta para dificuldades de coordenadas em PDFs complexos.
Em páginas digitalizadas, o texto pode vir de reconhecimento óptico de caracteres, ou OCR. Trate a qualidade dessa camada como uma variável separada. Palavras fragmentadas ou reconhecidas de formas diferentes podem esconder a recorrência de um rodapé. Não compense esse problema ampliando indiscriminadamente a área removida.
Combine recorrência, localização e regras de preservação
Monte candidatos usando linhas próximas às bordas superior e inferior. Compare o texto normalizado desses candidatos ao longo das páginas, mantendo o texto original em paralelo. Para comparação, espaços repetidos podem ser unificados e padrões explícitos de paginação podem receber uma forma comum. Essa transformação serve à detecção; ela não deve reescrever silenciosamente o conteúdo inteiro.
Por exemplo, “Página 4 de 28” e “Página 5 de 28” podem pertencer ao mesmo padrão. Já números em “Revisão 4” e “Revisão 5” não devem ser substituídos pela mesma regra. O padrão precisa ter escopo e exemplos negativos. Quanto mais genérica a normalização, maior a chance de confundir versões diferentes.
| Candidato | Decisão inicial | Verificação necessária |
|---|---|---|
| Paginação repetida na mesma margem | Excluir do texto para busca | Preservar a página em metadados |
| Título corrente do capítulo | Transferir para contexto do trecho | Conferir mudança de seção |
| Versão e data do procedimento | Preservar como metadados | Identificar o documento ao qual se aplicam |
| Nota de exceção junto à margem | Manter no conteúdo | Relacionar com a passagem correspondente |
| Cabeçalho de tabela em páginas sucessivas | Manter na representação da tabela | Conferir continuidade das colunas |
Compare páginas pares e ímpares separadamente quando o layout alternar. Considere também que capa, sumário e abertura de capítulo podem não ter cabeçalho. A ausência nessas páginas não invalida automaticamente um padrão detectado no restante do documento.
Use uma lista de preservação para conteúdos críticos, como “exceto”, “vigência”, “restrito” e referências a anexos. A lista não resolve a classificação sozinha, mas sinaliza candidatos que exigem revisão. Se não houver evidência suficiente, mantenha o bloco e registre a dúvida. É mais fácil revisar ruído preservado do que reconstruir uma condição apagada.
Mantenha uma transformação reversível e testável
Para cada exclusão, registre identificador do arquivo, página original, coordenadas, texto removido, motivo e versão da regra. Armazene o texto extraído antes da limpeza e o texto resultante. Assim, uma reclamação sobre uma resposta pode ser investigada sem repetir toda a extração ou adivinhar qual regra estava ativa.
Separe três destinos: conteúdo mantido para recuperação, informação transferida para metadados e material excluído como decoração. Um título de manual transferido para metadados ainda pode acompanhar os resultados de busca. Já o endereço repetido de uma unidade não precisa entrar em cada fragmento se não ajudar a responder às perguntas previstas.
Essa transferência deve conservar o alcance correto. Uma data no rodapé pode indicar emissão do relatório, revisão do formulário ou vigência da política. Nomeie o campo conforme o significado confirmado. Não transforme qualquer data encontrada em “data de vigência”, pois isso cria um erro de interpretação difícil de perceber.
Na validação, compare páginas com marcações dos blocos excluídos e uma visualização do texto final. Inclua páginas onde nada foi removido. Faça perguntas cuja resposta está perto das margens, em notas e em tabelas divididas. Compare presença da evidência, integridade da passagem e correção da referência. A discussão sobre versões de documentos citados por IA complementa esse registro.
Depois da aprovação, gere um índice separado e direcione um conjunto controlado de consultas para ele. Mantenha a possibilidade de voltar ao processamento anterior. Mudanças posteriores nas regras exigem nova avaliação: um filtro que serviu a uma família documental não está validado automaticamente para outra.
Exemplo: manuais de manutenção de uma empresa em Curitiba
Considere uma empresa de manutenção predial em Curitiba que quer consultar procedimentos de inspeção. Este é um exemplo ilustrativo. Seus manuais possuem logotipo no topo, título do procedimento e, no rodapé, paginação e identificação da revisão. Alguns anexos contêm listas de verificação com observações próximas à borda inferior.
A equipe separa os manuais dos anexos e seleciona páginas com diferentes layouts. O logotipo não entra na representação textual. A paginação vira referência de origem. O título e a revisão acompanham os trechos como metadados. As observações das listas permanecem no conteúdo porque podem mudar a execução de uma inspeção.
Durante a revisão, uma regra candidata marca “Uso obrigatório de proteção” como rodapé, pois a frase se repete no fim das páginas. O responsável técnico decide mantê-la como aviso ligado ao procedimento. Essa decisão vira um caso de teste para impedir que uma revisão futura da limpeza remova o aviso novamente.
A comparação usa perguntas como “qual revisão está sendo consultada?” e “que cuidado antecede a inspeção?”. O aceite depende de a evidência continuar presente e da referência abrir a página correta. Não se atribui ganho de precisão ou economia sem medições. Para estruturar o conteúdo consultado, vale relacionar o trabalho à organização de bases documentais com busca semântica.
Erros comuns
Cortar uma faixa fixa em todos os arquivos. Margens variam e uma linha relevante pode ocupar a faixa considerada descartável. Comece por famílias documentais e registre exceções. Um documento curto também pode não oferecer páginas suficientes para uma comparação confiável de recorrências.
Apagar toda frase repetida. Definições, condições de segurança e cabeçalhos de tabelas podem se repetir por uma razão. Exija combinação de evidências e mantenha uma categoria de revisão. Uma regra que desconhece o significado da repetição precisa ser conservadora.
Confundir limpeza para busca com ocultação de dados. Deixar de indexar um bloco não o remove do PDF original. Se a necessidade envolve sigilo ou anonimização, ela exige um processo específico de proteção do documento e revisão das cópias distribuídas.
Confiar apenas em OCR ou correção visual. Uma limpeza de imagem pode alterar detalhes. O manual do OCRmyPDF recomenda revisar os resultados de tratamentos que afetam páginas. Preserve o original e examine amostras antes de usar uma camada reconhecida como fonte de busca.
Perguntas frequentes
Posso resolver tudo com expressões regulares?
Elas ajudam em padrões conhecidos, como paginação, mas não recuperam a posição perdida de um bloco. Use expressões com escopo definido e exemplos negativos. A regra deve reconhecer uma forma editorial específica, sem remover números ou frases semelhantes no corpo.
O cabeçalho precisa desaparecer de todos os trechos?
Não. Um título pode ser contexto útil. É possível guardá-lo como metadado e acrescentá-lo de maneira controlada ao trecho recuperado. O que precisa ser evitado é a repetição sem significado ou sem vínculo com a seção correta.
Como lidar com PDFs de uma única página?
A recorrência interna não estará disponível. Use um modelo previamente validado para aquela família ou mantenha o conteúdo para revisão. Não invente uma evidência de repetição comparando documentos de origens incompatíveis apenas porque apresentam a mesma expressão.
Devo pedir a um modelo de linguagem que decida as exclusões?
Um modelo pode auxiliar a triagem de candidatos, desde que receba contexto suficiente e siga a política de acesso ao documento. Mantenha a decisão registrada e avaliada. Para padrões editoriais estáveis, regras explícitas podem oferecer uma implementação mais simples de conferir.
Como saber se a regra ficou agressiva demais?
Procure respostas cuja evidência sumiu após o processamento e revise passagens removidas que contêm condições, números ou referências. Uma avaliação deve incluir erros de remoção e de preservação. O aceite precisa considerar o dano de perder uma exceção, além do incômodo de manter decoração.
