Para avaliar unidades de medida em respostas de IA, confira separadamente a interpretação do pedido, a compatibilidade entre grandezas e a conta. Um resultado numericamente correto pode estar errado se o sistema confundiu massa com volume, ignorou um expoente ou escolheu uma definição de unidade que o usuário não informou.
Monte casos com resposta conhecida, registre as hipóteses permitidas e inclua perguntas que exigem esclarecimento. A avaliação precisa reconhecer quando converter e quando interromper a conversão. O método abaixo serve para assistentes que leem fichas de produtos, montam orçamentos e respondem dúvidas técnicas, sem depender de um fornecedor específico.
Resumo rápido
- Guarde valor, unidade e contexto em campos separados.
- Teste comprimento, área, volume, temperatura e grandezas incompatíveis.
- Use uma referência de cálculo independente da IA avaliada.
- Defina tolerância numérica e regra de arredondamento antes do teste.
- Considere correta a solicitação de esclarecimento diante de ambiguidade real.
1. O que exatamente deve ser avaliado
Divida a tarefa em quatro verificações: identificar a grandeza, interpretar a unidade, executar a transformação e apresentar o resultado. Essa separação ajuda a corrigir o componente responsável. Uma confusão no texto original pede melhoria de extração; uma multiplicação incorreta pede revisão do cálculo; uma unidade omitida pede revisão da saída.
Use, por exemplo, a pergunta “converta 250 centímetros para metros”. O gabarito inclui o número 2,5 e a unidade metro. A resposta “2,5” fica incompleta, porque outro sistema pode consumir esse valor sem saber a escala. A resposta “250 metros” revela falha de transformação mesmo que a explicação seja convincente.
Registre também se a resposta preserva o significado do pedido. Um usuário pode pedir a dimensão original e a convertida lado a lado. Substituir o dado original pela conversão elimina informação necessária para conferência. O teste deve observar esse requisito como parte da tarefa, além de medir a conta.
A brochura do Sistema Internacional de Unidades, do BIPM, é a referência para definições e escrita das unidades. Ela ajuda a estabelecer um vocabulário controlado. Para avaliar o comportamento geral do assistente, combine esse recorte com uma avaliação de qualidade de IA em português.
2. Construa uma matriz com conversões e impedimentos
A bateria de testes deve conter situações fáceis e situações nas quais uma operação automática seria indevida. O objetivo não é produzir uma coleção de pegadinhas. É representar as entradas que o negócio realmente recebe, incluindo abreviações, descrições incompletas e documentos de fornecedores com convenções diferentes.
| Caso de teste | Resposta esperada | Falha que o caso detecta |
|---|---|---|
| 250 cm para m | 2,5 m | Direção do fator de conversão |
| 2 m² para cm² | 20 000 cm² | Expoente ignorado no fator |
| 2 L para mL | 2000 mL | Prefixo ou escala trocados |
| 20 °C para K | 293,15 K | Deslocamento de temperatura omitido |
| 2 kg para L, sem material informado | Pedir material e densidade aplicável | Conversão entre grandezas incompatíveis sem dado auxiliar |
| 3 galões para litros, sem definição | Perguntar qual galão | Escolha silenciosa de uma unidade ambígua |
As relações de prefixos, como centi e mili, podem ser verificadas na tabela de prefixos do NIST. Nos casos de área, aplique o fator de comprimento ao quadrado. Nos de volume expresso por unidades cúbicas, aplique o fator ao cubo. Esses resultados da tabela são cálculos ilustrativos derivados dessas relações, não medições de desempenho de um modelo.
Acrescente pares que diferem em apenas um detalhe: “2 m para cm” e “2 m² para cm²”. Isso permite localizar se o assistente lê o expoente. Outro par útil troca a ordem das unidades. Uma conversão seguida da inversa deve recuperar o valor inicial dentro da tolerância definida.
3. Trate ambiguidade como parte do gabarito
A expressão “1.500” não pode ser interpretada com segurança sem conhecer a convenção do documento. Pode representar um valor decimal ou um agrupamento de milhares. A recomendação do BIPM sobre marcador decimal reconhece o ponto ou a vírgula como separador decimal. Portanto, o avaliador precisa declarar o padrão do conjunto, em vez de pressupor uma leitura universal.
Na entrada estruturada, use campos como valor_original, unidade_original, idioma_documento e convencao_numerica. Preserve a cadeia de texto recebida. Caso a interpretação seja confirmada por uma pessoa, salve essa decisão e sua origem. Assim, uma mudança posterior de leitor ou de prompt não altera silenciosamente o significado.
O mesmo cuidado vale para nomes de unidades com variantes. A tabela de fatores de conversão do NIST distingue unidades como galão dos Estados Unidos e galão imperial. Escrever apenas “galão” não fornece a definição necessária. O gabarito deve aceitar uma pergunta objetiva, e rejeitar um número apresentado como certeza.
Estabeleça três destinos para cada entrada: converter, converter sob hipótese explicitamente autorizada ou solicitar esclarecimento. Uma hipótese só é autorizada quando a regra do projeto a permite. O fato de um tipo de unidade ser frequente em determinado fornecedor não substitui sua identificação no documento ou no cadastro validado.
4. Separe cálculo determinístico de explicação
Para um fluxo de produção, uma arquitetura possível é usar a IA para identificar o pedido e uma rotina de cálculo para executar a conversão. Essa rotina pode trabalhar com uma lista aprovada de unidades e fórmulas. A IA recebe o resultado validado para explicar a operação, sem inventar um novo fator no texto final.
Mesmo nessa arquitetura, teste a ligação entre as etapas. Verifique se “miligrama” foi enviado ao calculador como miligrama, se o sinal negativo foi preservado e se a unidade de destino voltou corretamente à resposta. Um calculador perfeito não corrige uma interpretação errada da entrada.
Temperatura merece casos próprios. A documentação de temperatura do NIST informa a relação entre Celsius e kelvin: uma temperatura de zero grau Celsius corresponde a 273,15 K, enquanto uma variação de um grau Celsius tem a mesma magnitude de uma variação de um kelvin. Por isso, converter uma temperatura e converter uma diferença de temperatura são tarefas distintas.
Escreva gabaritos com os dois enunciados: “temperatura de 20 °C” e “aumento de 20 °C”. O primeiro corresponde a 293,15 K; o segundo, a uma variação de 20 K. Exija que a explicação conserve essa diferença. Não basta procurar a presença do número esperado em algum ponto do texto.
Defina a precisão de saída conforme o uso. Uma rotina de cadastro pode exigir três casas decimais; um relatório pode precisar preservar a precisão do dado de origem. Documente a escolha e evite arredondar cada etapa intermediária. Para números pequenos, uma tolerância apenas relativa pode ser inadequada perto de zero; considere também um limite absoluto.
5. Exemplo: distribuidora de embalagens em Curitiba
Imagine uma distribuidora em Curitiba que recebe fichas técnicas de potes e caixas de fornecedores. O assistente deve normalizar dimensões em centímetros e capacidade em mililitros antes de gerar descrições para o catálogo. Este é um cenário ilustrativo, sem promessa de economia ou resultado comercial.
A equipe monta um arquivo de teste com fichas fictícias identificadas como tal. Uma caixa tem comprimento de 250 mm, largura de 180 mm e altura de 100 mm. O resultado esperado preserva os campos e apresenta 25 cm, 18 cm e 10 cm. O teste rejeita a resposta que troca largura e altura, mesmo quando os três números aparecem.
Outra ficha diz “capacidade: 1,5 L”. O gabarito pede 1500 mL. Uma terceira informa “peso: 2 kg” e solicita capacidade. Nessa entrada, o sistema deve indicar que falta a relação entre massa e volume. A equipe não autoriza supor densidade nem tratar qualquer conteúdo como água.
Antes de liberar o lote, o responsável confere o vínculo entre ficha e produto. Não adianta converter corretamente a medida da tampa e atribuí-la à base da embalagem. Para cada resposta, ficam guardados o identificador do produto, o trecho de origem, a versão do documento, as unidades e a regra usada.
Esse recorte complementa a avaliação de alucinações numéricas, mas não se resume a verificar números inventados. Aqui, um número copiado corretamente ainda pode representar a grandeza errada. A revisão precisa conservar a relação entre valor, objeto e unidade.
6. Registre falhas e critérios de liberação
Classifique cada erro como interpretação, unidade, fator, sinal, arredondamento ou apresentação. Permita mais de uma classificação quando necessário. Essa taxonomia mostra o que precisa mudar e evita concluir que um prompt resolveu o problema apenas porque acertou um exemplo repetido.
Separe os casos usados para desenvolver a instrução dos casos usados para aprová-la. Mantenha um grupo reservado com outras frases e valores. Ao mudar a configuração do sistema, execute novamente os casos antigos e o grupo reservado. Guarde a resposta completa e a configuração efetivamente utilizada.
Relate acertos por família de tarefa e conte também esclarecimentos indevidos. Um assistente que sempre pede ajuda pode evitar conversões erradas e ainda falhar no trabalho. Da mesma forma, uma taxa geral de acerto pode esconder falhas em temperatura ou área. A separação entre fonte ausente e fonte contraditória ajuda a descrever por que um caso ficou sem resposta.
Para liberar a aplicação, estabeleça uma regra operacional verificável: nenhuma conversão entre grandezas incompatíveis sem dado auxiliar; nenhuma hipótese oculta sobre unidade ambígua; todas as saídas com unidade explícita. Ajuste a exigência ao processo real e encaminhe divergências a uma pessoa responsável antes que alimentem cadastro, compra ou instrução de execução.
Erros comuns
- Avaliar somente o número final. Confira também unidade, objeto, sinal e contexto.
- Usar a própria IA para criar e aprovar o gabarito. Calcule a referência por um caminho independente e revise as fórmulas.
- Aceitar explicação extensa como prova. Compare a transformação com a regra documentada.
- Punir toda pergunta de esclarecimento. Diferencie dúvida necessária de incapacidade de executar uma conversão definida.
- Arredondar cedo. Preserve precisão durante o cálculo e aplique a política na apresentação.
Perguntas frequentes
Uma calculadora elimina a necessidade de avaliação?
Não. Ela ajuda na execução matemática, mas o sistema ainda precisa extrair a unidade correta e associar o valor ao objeto certo. Avalie o fluxo completo, incluindo a passagem dos parâmetros e a apresentação.
Quando a IA deve pedir esclarecimento?
Quando faltam dados que alteram a resposta, como a definição de galão, a convenção numérica ou a densidade necessária para relacionar massa e volume. O pedido deve indicar exatamente o dado ausente.
Posso aceitar respostas com ponto e vírgula decimal?
Sim, se o contrato de saída permitir e a interpretação for inequívoca. Para integração automática, escolha um formato único e mantenha a representação original em outro campo. Não remova separadores indiscriminadamente.
É necessário testar todos os tipos de unidade?
Comece pelas grandezas do seu processo e pelos erros com consequência operacional. Amplie a cobertura quando surgir uma nova família de documentos. Um teste de comprimento não comprova competência em temperatura ou volume.
