Para avaliar como uma IA interpreta ironia, separe três perguntas: o que a frase diz literalmente, qual leitura o contexto sustenta e o que o autor declarou ter pretendido. Uma avaliação confiável não usa essas respostas como sinônimos. Quando a intenção não foi informada pelo autor, registre uma interpretação dos avaliadores, com espaço para dúvida.
O teste deve reunir textos literais, ironias claras, casos ambíguos e pares em que apenas o contexto muda. Corrija separadamente a classificação, a explicação e a ação sugerida. Um assistente pode reconhecer uma reclamação irônica e ainda produzir uma resposta inadequada. O roteiro a seguir propõe um protocolo para equipes brasileiras de atendimento, análise de comentários e revisão de resumos.
Resumo rápido
- Intenção declarada pelo autor e ironia percebida pelo leitor são rótulos diferentes.
- Uma palavra positiva, isoladamente, não determina elogio nem ironia.
- Inclua contexto suficiente e registre exatamente o que o modelo recebeu.
- Aceite “evidência insuficiente” quando o texto não permite uma leitura segura.
- Avalie a resposta operacional além do rótulo linguístico.
1. Escolha a pergunta antes de rotular os textos
Imagine a frase “Que atendimento maravilhoso”. Sem contexto, ela pode ser um elogio sincero. Depois de uma descrição de atraso e descaso, pode expressar crítica. Um teste que guarda apenas a frase e impõe a segunda leitura cobra do modelo uma informação que ele não recebeu. O primeiro cuidado é definir se a tarefa avalia interpretação contextual ou reconhecimento de pistas na frase isolada.
A pesquisa iSarcasm, de Oprea e Magdy, diferencia sarcasmo pretendido pelo autor e percebido pelo público. Os autores coletam rótulos dos próprios autores dos textos. Para uma equipe de avaliação, a lição é preservar a origem do rótulo: declaração do autor, interpretação humana ou regra artificial de geração.
Esse cuidado não obriga a entrevistar todo cliente. Se não houver confirmação de intenção, dê outro nome ao alvo, como “leitura mais sustentada pelo contexto”. Não transforme concordância entre revisores em acesso à mente da pessoa. A decisão operacional pode ser reconhecer uma insatisfação explícita sem concluir que houve sarcasmo deliberado.
Também defina o alcance da palavra ironia no seu teste. Ela pode abranger usos distintos, enquanto sarcasmo costuma envolver uma forma de crítica ou deboche. Para o piloto, descreva os critérios com exemplos próprios e mantenha categorias separadas quando essa diferença mudar a ação. Um glossário curto ajuda mais do que uma definição abstrata que os revisores aplicam de formas incompatíveis.
2. Registre literalidade, contexto e evidência
Monte uma ficha por item com texto-alvo, trecho anterior permitido, canal, identificação fictícia do interlocutor e objetivo da tarefa. Guarde em outro campo o rótulo de referência, sua origem e a justificativa de revisão. A justificativa humana não deve entrar no prompt de teste, pois entregaria a resposta.
| Dimensão | Pergunta de avaliação | Exemplo de registro |
|---|---|---|
| Sentido literal | O que a frase afirma diretamente? | O atendimento foi maravilhoso |
| Contexto observável | Que fatos aparecem na conversa? | A pessoa relata três contatos sem solução |
| Leitura contextual | Há contraste que sustente ironia? | Possível crítica em forma de elogio |
| Intenção declarada | O autor confirmou a intenção? | Não disponível |
| Ação adequada | Como atender sem depender de adivinhação? | Reconhecer a pendência e oferecer encaminhamento |
Exija que a resposta aponte evidências existentes no texto. “O cliente está sendo sarcástico porque está irritado” acrescenta um estado mental se a conversa não o sustenta. Uma explicação mais verificável seria: “Há contraste entre a expressão positiva e o relato de falta de solução”. Essa formulação preserva a diferença entre observar linguagem e afirmar uma emoção privada.
Inclua um campo “contexto insuficiente”. Ele não serve para evitar toda decisão difícil. Serve para os itens em que o conjunto foi construído justamente para testar limites de inferência. Se a especificação obriga uma classificação binária mesmo na dúvida, registre que o sistema está fazendo uma escolha forçada e avalie essa condição separadamente.
Quando a conversa tiver várias pessoas, confira também quem proferiu a frase e quem está sendo citado. Uma citação irônica não significa que o autor do resumo tenha adotado aquele tom. O guia sobre atribuição de falas em diálogos ajuda a evitar esse erro de preparação.
3. Construa pares com mudanças controladas
Um par útil conserva a frase-alvo e altera somente o contexto. Na primeira versão, a entrega chegou antes do prazo e a pessoa escreve “Era tudo de que eu precisava”. Na segunda, o pedido chegou quebrado e ela usa a mesma expressão. Os revisores precisam confirmar previamente que os contextos realmente sustentam leituras diferentes, sem depender de uma piada conhecida apenas pela equipe.
Crie também pares de ironia e paráfrase literal com intenção comunicativa próxima. “Ótimo, outra cobrança duplicada” pode ser acompanhado de “Estou insatisfeito porque houve outra cobrança duplicada”. A avaliação verifica se o resumo mantém a reclamação nas duas versões, mesmo que a primeira receba um rótulo de ironia e a segunda não.
O iSarcasmEval inclui identificação pareada entre uma frase sarcástica e sua reformulação não sarcástica. Essa pesquisa foi organizada com textos em inglês e árabe. O procedimento de pares inspira o desenho local, mas não autoriza presumir que o mesmo desempenho se transfere para mensagens de clientes em português brasileiro.
Inclua contraprovas: elogios com palavras como “maravilha”, reclamações diretas sem ironia, perguntas sinceras e humor sem crítica ao serviço. Se todas as frases com exclamação forem irônicas, um classificador pode usar pontuação como atalho. Distribua as pistas entre classes e examine se remover uma delas muda a leitura de forma legítima.
A metodologia CheckList propõe testes orientados a comportamentos específicos. Neste protocolo, use essa orientação para combinar mudanças esperadas de interpretação e mudanças que deveriam preservar a resposta. Trocar o nome fictício de uma pessoa, por exemplo, não deveria inverter sozinho a leitura de uma frase cujo contexto permaneceu idêntico.
4. Faça a anotação humana e a medição por camadas
Peça que pelo menos dois revisores anotem independentemente o piloto antes de discutir divergências. Eles devem usar os mesmos critérios e ver o mesmo contexto destinado ao modelo. Preserve os rótulos individuais e registre a decisão final. A divergência é informação sobre o item e sobre a definição da tarefa, não apenas um obstáculo a eliminar.
Separe casos de consenso daqueles que exigiram adjudicação, isto é, uma revisão para decidir como tratar o desacordo. Um terceiro avaliador pode corrigir uma leitura desatenta, mas não deve inventar certeza quando faltam elementos. Nesses casos, mantenha ambiguidade ou retire o item da correção binária principal, explicando o motivo no relatório.
Calcule precisão para ironia: entre os itens rotulados como irônicos pelo sistema, quantos correspondem ao gabarito definido. Calcule também revocação: entre os itens irônicos do gabarito, quantos foram identificados. Mostre as contagens e os falsos positivos, especialmente elogios sinceros classificados como deboche. Para interpretar a distribuição, consulte o texto sobre classes desbalanceadas em classificadores de IA.
Avalie a explicação com critérios observáveis: identifica a frase-alvo, menciona o contraste relevante, evita fatos inventados e reconhece dúvida quando cabível. Não dê uma nota única vaga de “entendeu bem”. Para a resposta ao cliente, confira se resolve o problema descrito, mantém um tom respeitoso e não acusa a pessoa de ironia.
Registre versão do sistema, instrução completa, configuração disponível, data e saídas. Use as mesmas condições em comparações. Se decidir repetir a execução, defina a quantidade antecipadamente e relate a variação. Um acerto escolhido entre várias tentativas não representa uma única resposta enviada ao cliente.
5. Exemplo: assistência de bicicletas em Recife
Considere uma assistência de bicicletas em Recife que usa IA para resumir conversas antes da revisão do atendente. O caso é ilustrativo, sem resultados medidos. Uma cliente informa: “Deixei a bicicleta na segunda. Disseram que ligariam ontem e ninguém ligou. Que organização incrível”. O resumo esperado preserva o atraso de comunicação e registra possível ironia, se essa classificação fizer parte da tarefa.
Uma resposta aceitável do assistente seria: “A cliente relata que não recebeu a ligação combinada e critica a organização do atendimento”. Ela não transforma a última frase em elogio nem inventa que a bicicleta foi danificada. Se a tarefa pedir evidência, a justificativa pode citar o contraste entre a promessa não cumprida e a expressão positiva.
Monte a versão literal: “Buscaram minha bicicleta no horário, explicaram o reparo e ligaram quando ficou pronta. Que organização incrível”. O resumo deve registrar satisfação. Mantenha o mesmo nome fictício e o mesmo serviço, para que a diferença relevante seja o contexto. Depois acrescente a versão isolada, contendo apenas a frase final: a saída esperada passa a reconhecer insuficiência de contexto para afirmar ironia.
Um quarto item usa crítica direta: “Não recebi a ligação combinada e isso me atrapalhou”. A finalidade é testar se o sistema consegue encaminhar a reclamação sem classificá-la como irônica. O conteúdo operacional das duas reclamações é semelhante; o recurso de linguagem muda. Um classificador que chama toda insatisfação de sarcasmo falha nessa distinção.
Na resposta sugerida ao cliente, a equipe pode exigir: reconhecer a falta de retorno, verificar o status e informar o próximo passo disponível. “Percebi sua ironia” não precisa aparecer. A qualidade do atendimento depende de tratar a pendência com respeito, mesmo quando a intenção exata não pode ser confirmada.
6. Erros comuns
Usar hashtags como verdade absoluta. O estudo SemEval-2018 Task 3 descreve coleta com hashtags relacionadas à ironia, seguida de anotação manual e remoção das marcas usadas na coleta. Isso mostra por que o mecanismo de coleta precisa ser documentado. Em um teste empresarial, uma etiqueta de origem também pode revelar o rótulo ao modelo.
Traduzir uma base e chamá-la de avaliação brasileira. Tradução pode alterar naturalidade, pistas culturais e intensidade. Use material original revisado por falantes do português do público-alvo. Se aproveitar uma estrutura estrangeira, registre a adaptação e submeta os itens a nova anotação.
Confundir negação com ironia. “O serviço não foi bom” é uma crítica direta. “Bom mesmo foi esperar sem notícia” pode exigir leitura contextual diferente. A bateria sobre negação em classificadores de texto complementa esse trabalho, mas não substitui a avaliação de intenção comunicativa.
Premiar explicações inventadas. Uma resposta detalhada pode atribuir frustração, profissão ou histórico que não aparecem no texto. Corrija cada justificativa pela evidência disponível. Uma interpretação plausível não autoriza acrescentar fatos ao resumo.
Ajustar todos os exemplos até o modelo acertar. Reserve itens para avaliação final e mantenha a separação por família. Frases quase idênticas em desenvolvimento e teste podem esconder memorização de um padrão. Ao corrigir uma falha, incorpore o caso à regressão e prepare outros contextos inéditos para conferir a generalização.
7. Perguntas frequentes
Ironia sempre inverte o sentimento da frase?
Não use essa regra como gabarito universal. Uma avaliação operacional deve considerar o contraste, o alvo e o contexto de cada item. Classifique sentimento e ironia em campos distintos para descobrir quando uma resposta mistura as duas tarefas.
Preciso saber a intenção verdadeira do cliente?
Para medir intenção declarada, precisa de informação fornecida pelo próprio autor. Sem ela, avalie a leitura sustentada pelo texto e identifique a origem humana do rótulo. Ainda é possível testar se o resumo preserva reclamações, elogios e incertezas.
O modelo deve sempre escolher entre irônico e literal?
Somente se essa for uma exigência explícita do processo. Em cenários com pouco contexto, uma opção de evidência insuficiente costuma permitir uma avaliação mais fiel ao que foi mostrado. Meça também quantas vezes essa opção foi usada indevidamente em casos claros.
Emojis e pontuação devem ser removidos?
Não automaticamente. Eles podem fazer parte da mensagem recebida. Guarde a versão original e, se quiser testar sua influência, crie uma variante controlada sem essas pistas. Revise o gabarito da variante porque a remoção pode realmente alterar a interpretação.
Um detector de ironia deve responder com ironia?
Reconhecer um recurso linguístico e reproduzi-lo são tarefas diferentes. Para atendimento, defina uma política de resposta cordial e objetiva. Avalie se o assistente identifica a demanda e oferece encaminhamento, mesmo quando o cliente usa humor ou crítica indireta.
