Como medir sensibilidade de modelos de IA a erros de digitação

Para medir a sensibilidade de um modelo de IA a erros de digitação, compare a mesma tarefa com textos originais e versões alteradas que preservem o significado. Registre a qualidade nos dois grupos, a frequência de mudanças indevidas e os tipos de erro que mais prejudicam o resultado. Não basta verificar se a resposta mudou: ela pode mudar de forma e continuar correta.

O teste precisa separar erros mecânicos, abreviações comuns e mudanças reais de sentido. “Quero cancelar” e “quero cancealr” podem expressar a mesma intenção; retirar o “não” de “não quero cancelar” altera o pedido. Misturar esses casos produz um diagnóstico que confunde fragilidade do modelo com uma transformação mal construída.

Resumo rápido

• Crie pares de textos com a mesma intenção e erros controlados.
• Avalie o original antes de atribuir uma falha ao erro de digitação.
• Separe troca, remoção, inserção e inversão de caracteres.
• Confirme com revisão humana que o significado foi preservado.
• Meça o sistema inteiro, incluindo normalização e correção automática.

O que a sensibilidade a erros de digitação revela

Um teste de robustez verifica como o comportamento se mantém diante de mudanças na entrada. Na linguagem, pequenas alterações gráficas podem ser comuns no uso cotidiano: uma letra repetida, um espaço ausente ou uma tecla vizinha. O estudo publicado na ACL Anthology sobre perturbações textuais investiga justamente relações entre essas mudanças e a robustez de sistemas de processamento de linguagem.

Isso não autoriza concluir que todos os modelos falham da mesma forma. O resultado precisa ser medido para a tarefa, a configuração e o público em questão. Um classificador de intenção, um buscador e um assistente que redige respostas podem reagir de maneiras distintas ao mesmo erro. Portanto, defina a saída relevante antes de escolher a métrica.

Na classificação, a pergunta pode ser se o rótulo correto foi preservado. Na extração, se um número de pedido continuou intacto. Na busca, se o documento necessário permaneceu entre os resultados considerados. Na geração, se a resposta continua correta e executável apesar de usar palavras diferentes. Essas são avaliações relacionadas, mas não intercambiáveis.

Também é útil distinguir tolerância de adivinhação. Se uma mensagem ficou realmente ambígua, pedir esclarecimento pode ser a resposta adequada. Um sistema que decide com firmeza sobre um texto incompreensível não deve receber crédito apenas por repetir a decisão que havia tomado no original.

Como montar pares de teste representativos

Selecione mensagens compatíveis com o canal de uso e remova dados pessoais desnecessários. Inclua diferentes comprimentos, intenções e graus de formalidade. Uma seleção composta somente por frases bem pontuadas de demonstração não representa necessariamente o atendimento recebido por uma pequena empresa. Registre a origem e as limitações da amostra.

Para cada texto, mantenha um identificador de origem e crie variantes separadas. Armazene o original, a transformação, a palavra afetada, a versão alterada e a saída esperada. Esse registro permite reproduzir o teste e descobrir se determinada falha se concentra em um tipo de alteração ou em um grupo de mensagens.

Comece com uma transformação por variante. Depois, adicione combinações controladas, se elas representarem o canal real. Mudar várias palavras de uma vez impede identificar qual modificação causou o problema. A intensidade deve ser descrita, por exemplo, como quantidade de operações e proporção de palavras afetadas, sem chamar todas as variantes de “erro leve”.

Divida os conjuntos antes de gerar variantes para desenvolvimento e teste. Todas as versões derivadas da mesma mensagem devem ficar no mesmo grupo. O guia de boas práticas do scikit-learn recomenda separar os dados antes de aprender transformações, evitando que informações do teste contaminem o desenvolvimento. Aqui, o vínculo entre original e variante precisa ser preservado.

Se houver várias mensagens da mesma conversa ou textos quase idênticos de um formulário, considere agrupá-los também. O teste deve trazer situações que o sistema ainda não usou para ajustar seu comportamento. Reserve erros observados no uso real para uma avaliação complementar, porque uma geração sintética não cobre automaticamente os padrões do público.

Quais alterações testar no português brasileiro

Escolha operações que façam sentido para o dispositivo e para a tarefa. Erros de celular podem envolver sugestões automáticas; teclado físico pode produzir teclas vizinhas. Não assuma que remover acentos representa todos os erros brasileiros. A informalidade inclui abreviações e escolhas legítimas de escrita, que merecem um recorte separado.

Revise as transformações manualmente, ao menos nos casos em que o significado possa mudar. “Avó” e “avô” mostram por que remover um acento nem sempre é neutro. Nomes, identificadores, valores e negações também exigem cuidado. Uma letra alterada em um código pode produzir outro código válido, e o sistema não deve simplesmente presumir o original.

Normalização Unicode é outra questão. O Unicode Consortium descreve formas de representar e normalizar sequências de caracteres equivalentes. Isso não é sinônimo de corrigir ortografia nem de remover todos os acentos. Avalie equivalência de representação em um grupo próprio, para não misturar um problema de processamento de texto com compreensão linguística.

Defina também controles de mudança de sentido. Eles verificam se o modelo reage quando deve reagir, como em “quero renovar” versus “não quero renovar”. Um sistema que produz a mesma resposta para tudo pode parecer estável no teste de digitação e ainda assim ser inadequado para o atendimento.

Como calcular e interpretar as medidas

Calcule a qualidade nos originais e nas variantes usando a mesma regra de correção. Em classificação, a acurácia mede a proporção de previsões corretas; em tarefas com múltiplas intenções, a correspondência exata exige o conjunto inteiro correto, conforme a documentação do scikit-learn. Explique qual definição está em uso no relatório.

A diferença entre a qualidade original e a qualidade alterada mostra a degradação observada naquele conjunto. Se usar percentuais, apresente a diferença em pontos percentuais. Evite chamar de “queda causada pelos erros” um resultado obtido com grupos distintos de mensagens: a comparação pareada é o que mantém a tarefa de referência controlada.

Calcule também a taxa de falha nas variantes cujos originais estavam corretos. Declare o denominador: variantes elegíveis ou mensagens de origem. Se algumas mensagens recebem mais versões que outras, a média sobre variantes lhes dá maior peso. Uma média por mensagem evita esse efeito quando cada solicitação deve ter a mesma importância.

A taxa de mudança de previsão é complementar. Ela conta quando a saída passa de uma decisão para outra, mas não diz se a mudança piorou o resultado. O modelo pode corrigir uma resposta originalmente errada por acaso. Portanto, cruze estabilidade com correção: estável e certo, estável e errado, mudou para certo ou mudou para errado.

Para classes desbalanceadas, acompanhe precisão, cobertura e F1 por intenção. A documentação de F1 diferencia agregações micro e macro; a escolha determina o peso das classes no resumo. Consulte também o guia sobre avaliação de classificadores com classes desbalanceadas. Um erro pouco frequente pode afetar uma intenção operacionalmente crítica.

Quando o sistema gera texto livre, use critérios semânticos definidos antes da execução. Avalie se a resposta resolve a tarefa, preserva dados fornecidos e pede esclarecimento quando necessário. A igualdade literal entre respostas é inadequada quando existem várias formulações corretas. Revise uma amostra dos julgamentos automatizados e registre os casos discordantes.

Exemplo: atendimento de uma assistência técnica em Recife

Considere uma assistência técnica de eletrodomésticos em Recife que recebe solicitações de orçamento e acompanhamento. O cenário é ilustrativo, sem métricas de uma operação real. A equipe quer saber se erros comuns de escrita fazem o sistema confundir pedido de visita com consulta sobre um serviço já aberto.

O conjunto contém mensagens como “quero acompanhar o conserto da geladeira”. Uma variante troca “conserto” por “consrto”. O rótulo esperado permanece acompanhamento. Já uma mudança de número de ordem de serviço não deve ser tratada como variação equivalente, porque altera a identificação do atendimento consultado.

A equipe roda cada original e sua variante na mesma configuração. Registra a intenção, a ação sugerida e se o sistema solicitou informação adicional. Uma saída que mantém o assunto, mas inventa um protocolo, falha no critério de preservação de dados. Uma resposta que pede confirmação de um identificador ambíguo pode ser adequada.

Depois, os revisores separam falhas de compreensão e falhas do fluxo. Se a intenção está correta, porém o atendimento abre uma nova visita em vez de consultar o serviço, o problema pode estar na integração. Esse diagnóstico evita ajustar o modelo para compensar uma regra operacional incorreta.

Antes de mudar a solução, a equipe define o que deseja melhorar e quais capacidades precisam permanecer preservadas. Repete os mesmos pares após a mudança e usa um conjunto reservado para conferir generalização. As técnicas de testes metamórficos em modelos de linguagem ajudam a organizar essas relações esperadas entre entradas e saídas.

Erros comuns

Corrigir todo texto antes de medir. Isso impede observar o comportamento original da solução. Se houver correção automática em produção, avalie tanto a entrada recebida pelo modelo quanto o sistema completo. Registre quando o corretor modifica palavras válidas ou identificadores que deveriam permanecer intactos.

Usar somente erros aleatórios. Eles ajudam a controlar experimentos, mas podem produzir mensagens pouco plausíveis. Combine alterações sintéticas com exemplos revisados do canal real e informe quais grupos foram medidos. Não apresente o desempenho em um gerador de ruído como garantia de qualidade para todo usuário.

Contar toda mudança como falha. Diferentes redações podem ser igualmente corretas. Defina invariantes da tarefa, como intenção, entidade e próxima ação, e julgue a preservação desses elementos. Para respostas abertas, guarde justificativas de avaliação que permitam revisar os casos difíceis.

Ignorar a variação entre execuções. Sistemas com saídas variáveis podem mudar mesmo sem alteração do texto. Execute controles repetidos quando essa variabilidade fizer parte da configuração e registre as condições. Assim, a oscilação natural não será atribuída integralmente ao erro de digitação.

Aprovar apenas por uma média geral. Apresente recortes por operação, intensidade e intenção. Inclua exemplos de falhas e o tamanho de cada grupo. Em uma avaliação pequena, trate diferenças reduzidas com cautela e evite rankings definitivos sem informação suficiente sobre a incerteza.

Perguntas frequentes

Remover acentos conta como erro de digitação?

Pode ser uma condição de teste, mas não deve ser confundida com toda a categoria de erros. Em alguns textos, a remoção preserva a intenção; em outros, muda palavras e sentidos. Mantenha esse recorte identificado e revise a equivalência dos pares.

Preciso alterar todas as palavras da mensagem?

Não. Comece com alterações localizadas para identificar a origem das falhas. Depois avalie intensidades maiores, quando forem plausíveis no uso real. Registre quantas operações foram feitas e quais partes foram protegidas, como valores e identificadores.

Uma resposta diferente significa falta de robustez?

Somente quando viola a relação esperada. Se a tarefa pede um rótulo, mudar o rótulo pode ser relevante. Se pede uma explicação, outra redação pode continuar correta. O critério deve acompanhar o objetivo e os elementos que precisam permanecer estáveis.

Um corretor ortográfico resolve o problema?

Isso precisa ser avaliado. O corretor pode ajudar em determinadas palavras e introduzir alterações inadequadas em outras. Compare a solução com e sem essa etapa, preserve o texto original para auditoria e verifique o resultado completo antes de adotar a mudança.

Como incluir as particularidades do português brasileiro?

Use mensagens representativas, revise abreviações e considere o contexto regional sem transformar variedades legítimas em erro. O guia de qualidade de modelos de IA em português apresenta cuidados complementares para construir uma avaliação ligada ao público real.

Fontes e leitura recomendada

• ACL Anthology: estudo original sobre robustez a perturbações textuais
• Unicode Consortium: perguntas frequentes sobre normalização
• Unicode Consortium: especificação das formas de normalização
• scikit-learn: boas práticas e vazamento de dados
• scikit-learn: definição de acurácia
• scikit-learn: F1 e agregação por classes