Para avaliar se um classificador entende negação em português, teste frases afirmativas e negativas sobre o mesmo assunto, com rótulos definidos antes da execução. Inclua mudanças no alcance da negação, frases com “sem”, “nunca” e “nem”, além de exemplos em que a presença de “não” não altera a categoria procurada.
Não basta medir a acurácia geral nem inverter automaticamente o rótulo quando aparecer uma palavra negativa. “Não recebi o produto” e “Não quero cancelar” descrevem decisões diferentes. O teste precisa indicar o que está sendo negado e qual consequência isso tem para a tarefa, seja sentimento, intenção ou identificação de um problema.
Resumo rápido
- Defina a tarefa e seus rótulos antes de gerar exemplos.
- Separe marcador de negação, alcance e decisão operacional.
- Use pares de frases que mudam apenas o fenômeno avaliado.
- Meça erros por tipo de negação e por consequência para o negócio.
- Mantenha uma base de teste reservada e revisão humana dos casos ambíguos.
Por que reconhecer “não” é apenas o começo
Um marcador é a expressão que sinaliza negação; alcance é a parte do enunciado afetada. Na frase “Não gostei do prazo, mas gostei do atendimento”, a avaliação do atendimento não está negada. Um classificador de sentimento por aspecto precisa preservar essa diferença. Um classificador que apenas encaminha reclamações de prazo pode usar outra taxonomia.
Há pesquisa específica sobre identificação de marcadores e alcance em português brasileiro. O trabalho de Dalloux e colaboradores, publicado na ACL Anthology, apresenta corpora com anotações manuais em textos relacionados a critérios de inclusão em ensaios clínicos. Essa evidência sustenta a distinção entre marcador e alcance, mas não demonstra desempenho em mensagens de lojas ou atendimento.
O artigo do NegBERT também trata detecção de negação e resolução de alcance como componentes avaliáveis. Seus experimentos não são uma autorização para assumir que qualquer modelo em português resolve o problema. Para uma aplicação comercial, a pergunta útil é mais específica: quais construções da operação atual fazem o sistema escolher uma categoria incorreta?
Compare “O cliente não solicitou cancelamento” com “O cliente solicitou cancelamento”. A intenção muda. Agora compare “Não recebi o comprovante” com “Ainda estou sem o comprovante”. A redação muda, mas a falta do documento permanece. Um conjunto útil deve testar tanto mudança esperada quanto estabilidade esperada do rótulo.
Defina a taxonomia e o protocolo de anotação
Comece pelo destino da classificação. Se o sistema encaminha pedidos de cancelamento, defina categorias como solicitação presente, solicitação ausente e revisão necessária. Se identifica reclamações de entrega, declare se perguntas, hipóteses e relatos de terceiros entram na categoria. Sem essa regra, pessoas e modelos podem discordar por razões legítimas.
Escreva um guia curto com exemplos positivos, negativos e fronteiriços. “Não sei se quero cancelar” expressa incerteza; não equivale a um pedido inequívoco. “Não quero deixar de cancelar” exige interpretação mais cuidadosa. A equipe deve decidir se tais casos entram em revisão e manter essa decisão estável entre versões.
Use dois anotadores para os casos mais delicados e registre a divergência. A revisão não precisa esconder a ambiguidade para produzir uma planilha aparentemente limpa. Guarde o texto, o rótulo final, a justificativa e a regra utilizada. Se não houver acordo sobre o sentido, o item pode compor uma coleção de ambiguidades, separada da medida de acerto inequívoco.
O artigo sobre avaliação de modelos em português ajuda a organizar critérios gerais. Para esta avaliação, mantenha o foco no comportamento que afeta a decisão: reconhecer corretamente a solicitação ou o fato. Fluência na explicação não compensa um encaminhamento errado.
Construa pares mínimos e testes de estabilidade
A metodologia CheckList propõe avaliar capacidades linguísticas por comportamentos, complementando métricas agregadas. Ela inclui testes de funcionalidade mínima, invariância e expectativa direcional. A adaptação abaixo é um roteiro editorial para classificadores em português; não é um benchmark publicado nem uma reprodução dos resultados do estudo.
| Fenômeno | Exemplos ilustrativos | O que verificar |
|---|---|---|
| Negação direta | “Quero cancelar” / “Não quero cancelar” | A presença da solicitação deve mudar |
| Paráfrase negativa | “Não recebi o boleto” / “Estou sem o boleto” | A indicação de documento ausente deve permanecer |
| Alcance | “Não gostei do prazo, gostei do suporte” | A negação do prazo não deve contaminar o suporte |
| Concordância negativa | “Não recebi nada” | Não tratar dois marcadores como afirmação automática |
| Relato citado | “O atendente escreveu: não cancele” | Separar fala citada de intenção do cliente |
| Incerteza | “Não sei se o pedido chegou” | Não concluir ausência de entrega sem evidência suficiente |
Crie variações com nomes de produtos, tempos verbais e ordem das orações. Troque “não recebi” por uma construção natural no canal, preservando o sentido esperado. Não gere centenas de frases artificiais apenas para aumentar o tamanho da base. Pequenas mudanças podem alterar pressupostos e tornar inválido o par que parecia controlado.
O CONDAQA explora alterações contrastivas relacionadas à negação, incluindo paráfrase, mudança de alcance e reversão. A inspiração é útil para o desenho dos testes, mas o conjunto não deve ser apresentado como uma avaliação pronta de atendimento em português. Crie e revise exemplos próprios do domínio, mantendo explícita essa diferença.
Inclua também frases sem negação que pertencem à mesma categoria e frases com “não” que pertencem a outras categorias. Isso reduz a chance de um sistema parecer competente apenas porque aprendeu uma associação superficial entre marcador e rótulo. Reserve construções e mensagens para avaliação final, fora dos exemplos usados para ajustar o prompt.
Meça falhas que a acurácia geral pode esconder
Registre uma matriz de confusão para os rótulos da tarefa. Um falso positivo de cancelamento ocorre quando uma mensagem sem pedido é classificada como solicitação. Um falso negativo ocorre quando um pedido real passa despercebido. Calcule precisão e revocação por classe, sempre mostrando a quantidade de exemplos que sustenta cada medida.
Além do resultado por frase, acompanhe acerto por par. Um sistema que acerta “quero cancelar” e erra “não quero cancelar” não passou no contraste. Para cada transformação, registre se o comportamento esperado era mudar ou preservar o rótulo. Um relatório por fenômeno revela se o problema está em paráfrase, alcance ou contexto citado.
Separe mensagens naturais de exemplos construídos. Os pares controlados ajudam no diagnóstico; a amostra representativa do canal ajuda a estimar comportamento naquele ambiente. Misturar tudo em um único percentual dificulta interpretar a taxa de erro. Não apresente o desempenho numa coleção sintética pequena como previsão exata de desempenho em produção.
Quando o modelo puder encaminhar um item para revisão, informe a cobertura: a parcela de casos que ele decide automaticamente. Um sistema pode errar menos porque encaminha quase tudo. A decisão de implantação exige avaliar qualidade e volume de revisão juntos, conforme a capacidade da equipe e o custo dos diferentes erros.
Ao mudar prompt, pesos ou pré-processamento, execute novamente a base reservada. Compare versões nos mesmos casos e examine regressões, mesmo que a média melhore. O guia de testes de regressão para prompts e ferramentas complementa a organização da execução e do histórico de resultados.
Exemplo: triagem de solicitações numa loja de Recife
Imagine uma loja de eletrodomésticos em Recife que deseja identificar mensagens sobre cancelamento. Este caso é ilustrativo e não relata uma implantação real. A classificação serve para priorizar atendimento humano; a categoria escolhida não autoriza o sistema a cancelar pedidos ou executar reembolsos.
A equipe começa com “quero cancelar meu pedido”, “não quero cancelar meu pedido” e “não recebi o pedido, quero cancelar”. A terceira frase é relevante porque uma negação sobre entrega convive com uma solicitação afirmativa. O anotador marca a intenção de cancelamento e registra qual trecho justifica o rótulo.
Depois entram “não cancelem, vou aguardar” e “disseram para não cancelar, mas quero cancelar”. O segundo caso contém uma fala de terceiros e a decisão atual do cliente. A loja define que a vontade explícita atual prevalece para a triagem, enquanto contradições sem esclarecimento vão para revisão. Essa regra fica registrada no guia.
O ensaio compara o classificador atual com uma versão candidata. Os responsáveis examinam cada par e os casos naturais anonimizados. Se o candidato passa a confundir “não recebi” com “não quero”, o problema vira um caso de regressão identificado. A correção pode envolver melhores exemplos, taxonomia ou modelo, mas precisa passar por nova avaliação independente.
O relatório entregue à operação mostra as confusões e as mensagens encaminhadas para revisão. Não anuncia economia ou redução de erros sem medição real. A liberação começa com acompanhamento de atendentes e uma forma simples de corrigir rótulos. Essas correções alimentam a próxima revisão, sem substituir a base final já reservada.
Erros comuns
- Remover palavras consideradas pouco informativas: excluir “não” ou “sem” no pré-processamento pode destruir justamente o sinal relevante.
- Inverter todos os rótulos diante de “não”: o marcador pode negar outro trecho, uma hipótese ou uma fala citada.
- Traduzir testes sem revisar: construções naturais em outro idioma podem produzir exemplos inadequados ou ambíguos em português.
- Usar apenas frases curtas: mensagens reais podem reunir negação, contraste e uma solicitação em orações distintas.
- Ajustar o prompt olhando o teste final: o conjunto deixa de ser uma avaliação independente quando suas respostas orientam cada alteração.
- Confundir sentimento com intenção: insatisfação não é automaticamente cancelamento, e uma solicitação educada pode expressar uma decisão firme.
Outra falha é transformar uma explicação convincente em prova de compreensão. Confira o rótulo e o trecho que o sustenta. Uma justificativa pode repetir a mensagem e ainda concluir a classe errada. Quando usar avaliadores automáticos, mantenha amostras revisadas por pessoas e critérios explícitos para resolver discordâncias.
Evite tentar corrigir todo erro com uma lista crescente de exceções. Primeiro agrupe falhas por causa: negação removida, contexto insuficiente, regra de anotação mal definida ou interpretação incorreta. Essa investigação indica se a mudança necessária pertence ao pré-processamento, à taxonomia ou ao classificador.
Perguntas frequentes
Encontrar a palavra “não” já resolve a classificação?
Não. É preciso identificar o que foi negado e relacionar isso à tarefa. “Não gostei do prazo” não nega a existência de uma reclamação. A mesma frase pode ser negativa para sentimento e positiva para a classe “reclamação presente”, conforme a definição dos rótulos.
Duas palavras negativas tornam a frase afirmativa?
Não aplique essa regra automaticamente. “Não recebi nada” mantém a ausência de recebimento no exemplo. Inclua construções naturais do canal e revise o sentido com anotadores. O número de marcadores não substitui a interpretação do alcance e da relação entre as orações.
Qual quantidade de testes é suficiente?
Não há um número universal. Comece cobrindo os fenômenos e os erros que têm consequência operacional. Aumente a diversidade e a amostra natural conforme o uso. Sempre informe o tamanho de cada grupo e evite conclusões fortes baseadas em poucos casos muito parecidos.
Posso usar outro modelo para produzir o gabarito?
Ele pode ajudar a sugerir exemplos e destacar possíveis divergências. O gabarito crítico deve passar pelo protocolo de anotação e por revisão humana. Caso contrário, dois modelos podem compartilhar o mesmo erro e produzir uma aparência de concordância sem sustentar a decisão correta.
Esse teste vale para modelos locais e APIs?
Sim. O protocolo observa entradas e saídas, sem depender de acesso aos pesos. Registre configuração, versão e condições de execução em ambos os casos. Para APIs, preserve também informações suficientes para repetir a avaliação, respeitando as regras de envio e retenção dos textos utilizados.
