Para testar se uma IA preserva desigualdades matemáticas, compare a relação original com a resposta e confira o que acontece exatamente no limite. Uma troca entre “menor que” e “menor ou igual a” pode alterar a regra mesmo quando o restante do resumo parece correto. O teste precisa verificar sinal, inclusão da fronteira, variável e domínio permitido.
Comece com trechos curtos cujo significado você consegue conferir sem ajuda do próprio modelo. Depois repita o teste no fluxo real de documentos, incluindo a extração do arquivo e a apresentação final. A proposta abaixo avalia fidelidade de transcrição e interpretação; resolver problemas matemáticos completos exige outra bateria de avaliação.
Resumo rápido
- Teste separadamente os sinais <, >, ≤ e ≥, inclusive quando aparecem por extenso.
- Inclua valores abaixo, sobre e acima de cada fronteira.
- Preserve domínio, unidade, exceções e conectivos como “e” ou “ou”.
- Confira o texto renderizado: caracteres matemáticos podem atravessar várias conversões.
- Registre a falha por etapa, sem usar uma média geral para esconder inversões de regra.
O que significa preservar uma desigualdade
Uma desigualdade expressa uma relação de ordem. Na frase “quantidade menor que dez”, dez fica fora do conjunto aceito. Na frase “quantidade menor ou igual a dez”, ele entra. Para avaliar um resumo, portanto, não basta encontrar o número dez: é necessário conferir a relação entre esse número e a quantidade mencionada.
Preservação literal e preservação semântica são critérios diferentes. A primeira exige manter a notação, como x ≤ 10. A segunda permite “x é, no máximo, dez”, desde que o conjunto de valores continue igual. Escolha qual critério o fluxo precisa antes de marcar uma mudança de estilo como erro.
Também há equivalências que alteram a posição dos termos. 10 ≥ x e x ≤ 10 dizem a mesma coisa. Comparar apenas a sequência de caracteres produziria uma reprovação indevida. Em sentido oposto, uma frase quase idêntica pode ser incorreta por retirar a igualdade. Um avaliador útil precisa distinguir essas duas situações.
O padrão MathML do W3C separa relações matemáticas em sua representação de conteúdo. Essa distinção ajuda a pensar no teste: a aparência do símbolo e seu papel lógico precisam ser conferidos. Não é necessário adotar MathML para aplicar o método, mas convém registrar o operador de forma explícita na referência.
Monte uma amostra que exponha mudanças de regra
Crie uma planilha de avaliação com identificador, trecho original, variável, operador, limite, domínio e resposta esperada. Acrescente a localização do trecho no documento. Se a mesma letra representar coisas diferentes em páginas distintas, mantenha essa definição perto da desigualdade para evitar uma ambiguidade artificial.
| Caso de teste | Referência | Falha procurada |
|---|---|---|
| Limite estrito | x < 10 exclui dez | Adicionar igualdade |
| Limite inclusivo | x ≤ 10 inclui dez | Retirar igualdade |
| Intervalo misto | 2 < x ≤ 5 | Tratar as duas pontas como iguais |
| Termos invertidos | 10 ≥ x equivale a x ≤ 10 | Inverter o sentido da relação |
| Duas condições | x > 2 e x < 5 | Trocar interseção por alternativa |
| Domínio discreto | x inteiro, com 0 < x < 3 | Aceitar frações ou extremos |
Inclua versões equivalentes em linguagem corrente: “acima de”, “a partir de”, “até, inclusive”, “inferior a” e “não inferior a”. Quando a expressão da fonte for ambígua, como “entre dois e cinco” sem explicar as pontas, a resposta correta do teste deve apontar a ambiguidade. Não premie o modelo por escolher uma interpretação que você não forneceu.
Varie a posição da condição: no início do parágrafo, depois de uma exceção e dentro de uma tabela. Essas variações são sugestões de cobertura, não uma afirmação de que determinada apresentação cause mais erros. Mantenha uma versão simples como controle, para investigar o que mudou quando uma variante falhar.
Para a preparação dos arquivos, use também a orientação sobre preservação de fórmulas matemáticas extraídas de PDFs. Aqui o foco é o significado da relação; um erro de leitura anterior precisa ser registrado antes de avaliar a resposta do modelo.
Execute o teste com valores de fronteira
Para cada limite, selecione um valor menor, o próprio limite e um valor maior. No caso x ≤ 10, os valores ilustrativos nove, dez e onze devem produzir, respectivamente, verdadeiro, verdadeiro e falso. A seleção deve respeitar o domínio: para contagens inteiras, não use uma fração como caso principal de aceitação.
Depois teste a mesma condição em palavras. Peça ao modelo que resuma a regra e classifique cada valor como aceito ou rejeitado, citando o trecho de origem. Você passa a ter duas evidências: a paráfrase e a decisão. Se a frase estiver correta, mas a classificação do limite estiver errada, o caso continua reprovado.
Resuma apenas a condição fornecida.
Preserve variável, operador, limite, unidade e domínio.
Informe se o limite está incluído.
Classifique os valores apresentados e cite o trecho usado.
Se a fonte não definir alguma condição, marque “não definido”.Esse pedido é um protocolo de teste sugerido, não uma garantia de acerto. Rode primeiro a instrução usada em produção, salve o resultado e só então experimente ajustes. Se você corrigir o prompt antes de guardar a primeira saída, perderá a evidência do comportamento que queria medir.
Uma conferência determinística pode ajudar em condições simples. A documentação do Python diferencia comparações estritas e inclusivas, além de explicar comparações encadeadas. Já a documentação do SymPy descreve redução algébrica de desigualdades e suas limitações. Use essas ferramentas para conferir referências compatíveis com elas, com revisão humana; não trate qualquer saída automática como prova universal.
Separe transcrição, interpretação e apresentação
Guarde três versões do caso: fonte visível, texto efetivamente enviado ao modelo e resposta exibida ao usuário. Se o PDF tinha “≤” e o texto extraído passou a conter “<”, a origem da falha está antes da geração. Se a entrada estava correta e o resumo removeu a igualdade, a falha ocorreu na interpretação ou redação.
Ao montar HTML, use a codificação adequada dos sinais e confira a página renderizada. O padrão HTML define referências de caracteres; isso permite representar caracteres reservados sem confundi-los com marcação. O teste deve olhar também o que a pessoa copia da página, não somente o arquivo salvo no servidor.
Classifique cada erro por impacto: mudança no conjunto aceito, perda de unidade, perda de domínio, ambiguidade introduzida ou diferença apenas visual. Registre também o nome e a configuração do modelo utilizados no seu ambiente, o prompt, a versão do documento e o momento da execução. Não preencha campos desconhecidos por suposição.
Compare versões do fluxo usando a mesma amostra. Um total de acertos pode servir como panorama, mas apresente separadamente os erros que trocam a inclusão do limite. Para uma visão mais ampla de critérios, consulte como avaliar a qualidade da IA em português.
Exemplo: oficina de peças em Joinville
Considere uma oficina fictícia de Joinville que prepara instruções internas de separação de peças. A regra ilustrativa diz: “Selecionar somente peças com comprimento maior que vinte milímetros e menor ou igual a trinta milímetros”. Os valores são didáticos e não representam uma tolerância técnica recomendada.
A referência registra 20 < comprimento ≤ 30, em milímetros. A oficina prepara três fichas fictícias: uma peça de vinte, outra de vinte e cinco e outra de trinta milímetros. A primeira deve ser rejeitada; as outras duas atendem à condição. Uma saída que escreva “entre vinte e trinta” sem esclarecer as pontas não satisfaz o critério de fidelidade definido para esse processo.
O revisor também testa uma versão da ficha com a condição dividida em duas linhas. Primeiro confere se a extração manteve ambos os limites. Depois verifica se o resumo preservou o “e”. Se uma das partes desaparecer, o resumo pode permitir peças acima do teto ou abaixo do piso, mesmo mantendo corretamente o outro número.
A oficina encerra o teste com uma ficha sem unidade. Nesse caso, a resposta esperada é declarar a ausência, sem presumir milímetros por causa dos demais exemplos. O conjunto passa a verificar fidelidade, decisão no limite e capacidade de sinalizar informação faltante, sem inventar resultados de implantação.
Erros comuns
Avaliar apenas a fluência. Uma frase natural pode mudar a regra. Peça ao revisor que explique quais valores são aceitos e compare com a referência, em vez de perguntar somente se o texto está bem escrito.
Usar o mesmo modelo para criar e aprovar o gabarito. Ele pode repetir a mesma interpretação nas duas etapas. Faça a referência com conferência independente e registre quem resolveu as ambiguidades da fonte.
Testar somente valores distantes do limite. Nove e onze distinguem várias relações, mas não mostram sozinhos se dez foi incluído. A fronteira precisa aparecer como caso explícito.
Arredondar antes de comparar. Isso pode mudar o lado da fronteira em que um valor aparece. Preserve o valor original e documente qualquer regra de arredondamento fornecida pelo responsável pelo processo.
Aceitar uma correção isolada como validação. Depois de ajustar a instrução, repita toda a amostra. Uma melhora em desigualdades simples não demonstra preservação de intervalos mistos ou condições combinadas.
Perguntas frequentes
Preciso exigir os mesmos símbolos da fonte?
Somente se a aplicação exigir transcrição literal. Em um resumo, uma paráfrase inequívoca pode ser aceita. Defina o critério previamente e confira o conjunto de valores, incluindo o limite.
Posso testar apenas com perguntas de matemática escolar?
Elas ajudam a preparar controles simples, mas inclua também trechos representativos dos seus documentos. Cabeçalhos, notas e unidades fazem parte da condição que o fluxo precisa preservar.
Uma tabela de decisões substitui a leitura humana?
Ela facilita a comparação, mas não resolve uma fonte ambígua ou uma variável mal definida. Use a tabela como evidência verificável e encaminhe indefinições para quem conhece a regra original.
Quando devo repetir a avaliação?
Repita após mudanças no modelo, na instrução, na extração ou na apresentação dos documentos. Guarde casos aprovados como regressão e acrescente falhas encontradas no uso real, sem apagar as anteriores.
