Para medir a preservação de parênteses e exceções em regras reescritas por IA, compare as decisões permitidas pelo original e pela nova versão. Verificar se os sinais de pontuação continuam presentes é insuficiente: um trecho pode sair dos parênteses e manter o sentido, ou permanecer entre eles com uma restrição alterada.
Transforme a regra em condições verificáveis, crie situações cobertas e excluídas por cada condição e confronte as duas redações. Essa avaliação serve para procedimentos internos, instruções de atendimento e políticas comerciais. O método abaixo é uma proposta prática de revisão; exemplos e quantidades ilustrativas não representam resultados de pesquisa nem regras jurídicas.
Resumo rápido
- Classifique cada trecho entre parênteses pela função que exerce.
- Separe regra geral, condição, exceção e limite da exceção.
- Teste situações que mudam de resultado ao retirar uma ressalva.
- Compare o conjunto de casos aceitos antes e depois da reescrita.
- Registre ambiguidades da fonte em vez de resolvê-las silenciosamente.
Parênteses não definem a importância da informação
Um trecho entre parênteses pode explicar uma sigla, acrescentar um exemplo, identificar uma unidade ou restringir uma obrigação. Em “Envie o comprovante (somente em PDF)”, o trecho estabelece formato. Em “Envie o comprovante (por exemplo, o recibo da compra)”, a informação sugere uma possibilidade. Apagar ambos como detalhes acessórios gera efeitos diferentes.
O Manual de Elaboração de Textos do Senado trata o emprego de parênteses entre os recursos de redação. Isso ajuda a revisar a forma, mas uma avaliação de IA precisa observar também a função do conteúdo. A regra de negócio é definida pelo enunciado e por seu contexto, não pelo tamanho ou destaque visual da ressalva.
Leia também as frases anteriores e posteriores. “Esses casos exigem autorização” pode se referir aos itens entre parênteses ou à regra geral. Se o escopo não estiver definido, anote a dúvida para o responsável pela política. A reescrita não deve adquirir aparência de precisão à custa de uma decisão que o texto original não sustenta.
O Manual de Comunicação do Senado mostra que diferentes sinais podem isolar palavras e frases. Logo, exigir os mesmos parênteses em toda saída pode rejeitar uma reescrita fiel. A equivalência precisa ser examinada no conteúdo, mantendo rastreabilidade até a passagem original.
Desmonte a regra em partes que possam ser conferidas
Antes de usar o assistente, peça ao dono do processo que identifique sujeito, ação, objeto, condição de entrada e resultado. Depois liste ressalvas, exclusões, prazos e dependências. A anotação serve como referência de revisão; não precisa virar uma linguagem formal complexa para ser útil em uma equipe pequena.
| Elemento | Exemplo ilustrativo | Pergunta de revisão |
|---|---|---|
| Regra geral | Pedidos podem ser cancelados antes da produção | Quem pode solicitar e em que etapa? |
| Exceção | Exceto pedidos personalizados | Quais pedidos saem do conjunto permitido? |
| Limite da exceção | Personalizados podem ser cancelados se a arte não foi aprovada | Qual condição devolve a possibilidade? |
| Restrição entre parênteses | Solicitação por escrito | O formato continua obrigatório? |
| Exemplo | Como camisetas com nome | A lista continua ilustrativa, sem virar exaustiva? |
Diferencie “pode”, “deve” e “não pode”. Uma autorização não equivale a uma obrigação. Trocar “pode solicitar” por “receberá” também transforma uma possibilidade em resultado garantido. Registre separadamente critérios de elegibilidade, etapas de análise e decisão final; a IA pode preservar um deles e alterar os demais.
Marque palavras pequenas que governam o alcance: apenas, inclusive, exceto, salvo, desde que, até e após. Observe a ligação entre condições por “e” ou “ou”. Se o original exige cadastro ativo e autorização do gestor, aceitar somente um requisito amplia o conjunto permitido. A revisão deve apontar esse efeito com um caso concreto.
Não acrescente restrições para deixar a regra mais completa. Se o documento nada diz sobre feriados, canal de solicitação ou fuso do prazo, registre ausência de definição. A equipe pode decidir preencher a lacuna em outra etapa, mas essa mudança precisa aparecer como alteração de política, com responsável e aprovação próprios.
Construa casos que exponham perda e deslocamento de escopo
Para cada condição, crie um caso que a atende e outro que falha apenas nela. Mantenha o restante igual. Isso mostra se a reescrita preserva a função daquela condição. Acrescente casos de fronteira quando houver números e datas, conferindo se o limite é inclusivo ou exclusivo no material de origem.
Exemplo: “O atendimento é remoto (exceto a instalação inicial)”. Teste um suporte posterior, uma instalação inicial e uma solicitação que reúne ambos. Uma versão como “Todo atendimento é remoto, inclusive a instalação” contradiz a exceção. “O suporte é remoto; a instalação inicial fica fora dessa regra” preserva a exclusão, mas ainda não informa como a instalação será realizada.
Esse último detalhe evita uma inferência indevida: estar fora da regra de atendimento remoto não prova, sozinho, que o serviço será presencial. A fonte pode exigir outra contratação ou não definir a modalidade. Marque “não determinado” quando a regra não decide a situação. Uma avaliação binária de permitido ou proibido pode forçar conclusões que o documento não contém.
Inclua escopo local e global. Em “Clientes das unidades A e B (somente no plano anual) recebem suporte prioritário”, verifique se a condição vale para ambas as unidades ou se a redação deixa dúvida. Na nova versão, transferir a ressalva para um único item altera quem recebe o benefício. Quando a fonte admite mais de uma leitura, peça esclarecimento antes de formar o gabarito definitivo.
Casos de negação merecem uma família própria. O estudo An Analysis of Natural Language Inference Benchmarks through the Lens of Negation examina a negação em conjuntos de inferência textual. Ele é uma referência de pesquisa para olhar esse fenômeno, não uma medição do seu sistema. No teste local, trabalhe com as construções efetivamente presentes nos procedimentos.
Compare equivalência de decisões e meça falhas
Monte uma planilha com identificador, trecho original, reescrita, condição testada, cenário, resultado no original, resultado na nova versão e justificativa curta. Defina os resultados possíveis antes de avaliar: por exemplo, elegível, inelegível e indeterminado. Se a regra trata apenas de uma etapa, nomeie essa etapa para não confundir elegibilidade com aprovação final.
Uma medida simples é a proporção de cenários com o mesmo resultado nas duas versões. Apresente o total de cenários e a distribuição por tipo. Complete com três contagens: restrições removidas, restrições inventadas e casos indeterminados transformados em certezas. Uma única taxa de semelhança textual não informa esses efeitos.
Avalie também a regra inteira: todas as condições essenciais foram preservadas? Se uma reescrita mantém nove condições e remove a décima, a média por condição pode parecer boa, embora a política resultante esteja inadequada. Para consequências relevantes, use a perda de uma condição essencial como critério de reprovação, definido previamente pelo responsável.
A documentação de desenvolvimento de avaliações da Anthropic orienta alinhar testes aos critérios de sucesso da tarefa. Nesse caso, o critério é preservar decisões e incertezas. Quem testa com esse fornecedor pode consultar a página de integrações do Claude, sem vincular o método a um produto específico.
Reescreva a regra para facilitar a leitura, preservando obrigações,
permissões, proibições, exemplos e exceções. Entregue:
1. redação proposta;
2. correspondência entre cada condição original e o novo trecho;
3. dúvidas que impedem garantir equivalência.
Não preencha lacunas com regras presumidas.Guarde a saída original do sistema e revise a correspondência. O próprio modelo pode alegar que preservou uma ressalva que sumiu. Validações automáticas conseguem detectar ausência de números, palavras ou unidades; precisam de revisão semântica para decidir se uma paráfrase continua equivalente. Combine esse processo com os testes de regressão de prompts e ferramentas.
Exemplo: uma gráfica de Campinas revisa suas instruções
Em um cenário ilustrativo, uma gráfica de Campinas quer simplificar esta instrução interna: “Pedidos podem ser cancelados antes do início da produção (exceto os personalizados com arte aprovada). Solicitações devem ser feitas por escrito”. O texto trata da possibilidade de solicitar cancelamento nesse procedimento. Não descreve todas as condições comerciais nem pretende orientar sobre direitos legais.
A equipe constrói quatro situações: pedido comum antes da produção; personalizado sem arte aprovada antes da produção; personalizado com arte aprovada antes da produção; pedido comum após o início da produção. Acrescenta uma quinta variação em que a solicitação é apenas verbal. Cada situação isola uma condição que a redação simplificada precisa respeitar.
A primeira saída da IA diz: “Cancele pedidos antes da produção, enviando uma solicitação por escrito. Pedidos personalizados não podem ser cancelados”. A segunda frase amplia a exceção, pois exclui também personalizados sem arte aprovada. O erro fica evidente no segundo cenário. Além disso, “cancele” pode soar como instrução automática; a equipe prefere preservar a formulação de possibilidade.
Uma proposta mais fiel é: “Antes do início da produção, é possível solicitar o cancelamento por escrito. Essa possibilidade não se aplica a pedidos personalizados cuja arte já foi aprovada”. Os revisores conferem os cinco cenários e a correspondência dos trechos. Se houver dúvidas sobre outros canais, contratos ou etapas, elas ficam registradas como assuntos não resolvidos por essa regra.
A equipe acrescenta uma versão com exemplo entre parênteses: “pedidos personalizados (como cartões com nome)”. A reescrita não pode restringir a categoria somente a cartões. Essa variação revela outra falha: transformar uma ilustração em lista fechada. Para limites de prazo, o procedimento pode ser complementado pelo guia de avaliação de intervalos inclusivos e exclusivos.
Erros comuns
- Contar parênteses e encerrar a revisão. Presença do sinal não comprova preservação do conteúdo.
- Eliminar tudo que parece acessório. Uma ressalva curta pode definir a principal exclusão.
- Trocar exemplo por definição completa. “Como” não significa necessariamente “somente”.
- Converter ausência de permissão em proibição explícita. A regra pode simplesmente não cobrir aquele cenário.
- Ignorar o escopo da negação. Negar uma condição isolada difere de negar a combinação de condições.
- Usar a reescrita como gabarito. A referência precisa vir do original revisado e do dono do processo.
Outro erro é corrigir uma única saída e declarar o prompt resolvido. Aplique a versão ajustada ao conjunto inteiro e confira perdas em casos que já funcionavam. Separe exemplos usados no ajuste daqueles reservados para a avaliação final. O guia sobre negação em classificadores de português complementa o olhar sobre construções negativas.
Perguntas frequentes
A IA precisa manter os parênteses originais?
Somente quando houver uma exigência explícita de formato. Para simplificação textual, pode transformar o conteúdo em outra frase ou lista, desde que preserve função, escopo e relação com a regra geral. Registre onde cada condição reaparece.
Como lidar com exceção da exceção?
Explicite os conjuntos envolvidos e crie um caso para cada combinação relevante. Verifique qual condição retira um caso da regra geral e qual permite seu retorno. Se a interpretação não for consensual, esclareça o original antes de avaliar a reescrita.
Uma resposta mais curta pode receber nota melhor?
Pode, se a concisão for um objetivo e a equivalência estiver preservada. Avalie fidelidade antes de estilo. Um texto curto que remove uma restrição essencial deve ser reprovado mesmo quando parece mais fácil de ler.
Semelhança de palavras ajuda nessa avaliação?
Ajuda a localizar alterações para revisão, mas não basta como critério de aprovação. Duas frases quase iguais podem divergir por uma negação. Duas redações bem diferentes podem permitir e excluir exatamente os mesmos casos testados.
Testar cenários prova equivalência em qualquer situação?
Não. Os testes dão evidência sobre as situações cobertas. Amplie o conjunto quando surgirem novas condições, mantenha revisão das regras essenciais e documente limitações. Políticas complexas exigem acompanhamento de quem conhece o processo e suas dependências.
