Como avaliar a distinção entre estimativa e valor confirmado em respostas de IA

Um modelo de linguagem escreve um número extraído de um documento e um número que ele inventou com o mesmo tom de certeza, na mesma fonte, no mesmo parágrafo. Não há uma marcação visual de “isto é estimativa”. Quem depende de respostas numéricas (custos, prazos, quantidades, multas, juros, previsões) precisa separar três coisas que a IA mistura: o valor que veio de uma fonte, o valor calculado a partir de dados fornecidos e o valor estimado pelo próprio modelo. Cada um tem um nível diferente de confiança e uma ação de revisão diferente.

A regra prática é simples: valor sem origem declarada é rascunho, não resultado. Antes de mandar um número para um cliente, você precisa saber de onde ele veio e quem conferiu. Este guia mostra como testar isso na prática, com três testes que você roda na própria conversa, uma tabela de categorias de resposta e um jeito de registrar a conferência no fluxo de trabalho.

Resumo rápido

• Trate cada número em três categorias: extraído (com citação), calculado (com a conta) e estimado (marcado como tal).
• Palavras como “cerca de” e “aproximadamente” não garantem nada: o modelo as usa com a mesma confiança do valor exato.
• Teste das três camadas: peça o valor, a origem e o intervalo. Se as três respostas não fecham, o número é suspeito.
• Teste de contradição e teste de âncora expõem valores que foram inventados ou que só concordam com o que você sugeriu.
• Peça para não estimar ajuda, mas não é garantia. Valor sem fonte vai para revisão, nunca direto para o cliente.
• Registre quem conferiu cada número. Rastreabilidade é o que separa um relatório confiável de um rascunho bonito.

Os três tipos de número que a IA devolve

Quando você pede um valor a um modelo, ele pode chegar até você por três caminhos bem diferentes. Reconhecer o caminho é o primeiro passo.

Valor extraído de uma fonte

O número estava em um documento que você forneceu: nota fiscal, contrato, planilha, e-mail. Aqui o modelo localiza e copia. É o tipo mais confiável, mas só se ele mostrar a citação: de qual arquivo, de qual trecho. Sem a citação, você não sabe se ele copiou ou se lembrou de algo parecido.

Valor calculado a partir de dados fornecidos

O número não estava escrito em lugar nenhum, mas sai de uma conta com dados que você deu: um total, uma média, uma margem. Pode ser tão confiável quanto o extraído, com uma condição: a conta tem que estar visível. Se o modelo diz “o total é R$ 48.320” e não mostra a soma, você não sabe se somou os itens certos.

Valor estimado pelo modelo

O número não estava em lugar nenhum e não sai de uma conta com os seus dados: vem de padrões aprendidos no treinamento. Preço médio de mercado, prazo típico de um processo, taxa de juros esperada. Pode ser útil como referência, mas é uma estimativa, e não vem rotulado assim.

A página de boas práticas de produção da OpenAI recomenda avaliar sistematicamente as saídas antes de confiar nelas em produção. A pesquisa sobre abstenção aponta o mesmo caminho: o trabalho de Cole e colegas (EMNLP 2023) mostra que medir a repetição entre várias amostras da resposta é mais confiável para decidir quando o modelo deve abster do que a probabilidade que ele mesmo declara.

Por que a formatação engana

O modelo escreve “aproximadamente R$ 12 mil” e “R$ 12.340,00” com a mesma tipografia, no mesmo tom, sem nenhuma diferença de confiança. A ressalva, quando aparece, é uma palavra solta no meio da frase, fácil de perder na leitura rápida.

Pior: a ressalva pode aparecer num número que estava no documento e sumir de um número inventado. O modelo não tem um medidor interno que ligue a palavra “estimativa” sempre que estiver estimando.

Um efeito secundário atrapalha mais: números com muitas casas decimais parecem mais precisos. “R$ 12.347,89” soa mais confiável que “R$ 12.300”, embora os dois possam ter sido inventados igualmente. Precisão de apresentação não é precisão de informação. Por isso, leia a origem do número, não o número.

A tabela que organiza a revisão

Repare que a diferença entre a terceira e a quarta linha não está na formatação. Está na existência de origem. Um valor que veio sem citação e sem conta entra na quarta linha por padrão, mesmo que pareça razoável. A regra é tratar como suspeito até prova em contrário, não o inverso.

Teste das três camadas

É o teste principal e o mais rápido. Para um número importante, faça três perguntas em sequência, na mesma conversa:

1. O valor. “Qual é o valor total de custos do projeto?”
2. A origem. “De onde veio esse número? Cite o arquivo e o trecho.”
3. O intervalo. “Qual é a margem de erro ou o intervalo plausível desse valor?”

O que você observa é a coerência entre as três respostas:

• Valor de documento: a origem aponta o documento e o intervalo é zero ou quase zero (“é um valor exato do contrato”).
• Valor calculado: a origem é a conta, e o intervalo reflete a precisão dos dados de entrada.
• Valor estimado: o intervalo tende a ser largo. Se o modelo dá “R$ 48.320” na primeira pergunta e “R$ 30 mil a R$ 70 mil” na terceira, ele está dizendo que o número não era sólido.

A incoerência típica: origem vaga (“com base nos dados fornecidos”, sem citar nada) com intervalo estreito. Isso combina com um número inventado que o modelo defende. Outro padrão: o intervalo muda conforme você insiste. Registre as três respostas por escrito; a memória da conversa não é lugar para números que vão virar relatório.

Teste de contradição

Pergunte o mesmo número duas vezes, de formas diferentes, na mesma conversa. Por exemplo:

• “Qual foi o custo total de pessoal no trimestre?”
• “Somando as despesas de folha dos três meses, chego a quanto?”

Se as respostas divergem, você achou um número instável. Um valor extraído de um documento ou calculado a partir de uma tabela fornecida deveria dar o mesmo resultado nas duas formulações. A divergência indica que o modelo reconstrói o número a cada pergunta, em vez de consultar uma base fixa.

A pesquisa de autoconsistência (Wang e colegas, 2022) usa essa ideia: gerar várias respostas para o mesmo problema e olhar a consistência. O que melhora o raciocínio também serve como detector de instabilidade.

Cuidado: a segunda pergunta não deve sugerir o resultado. “Somando as despesas, dá uns R$ 50 mil, certo?” já é um teste de âncora disfarçado.

Teste de âncora

Você fornece um valor plausível mas errado e vê se o modelo corrige ou concorda. Exemplo:

“O relatório anterior fechou em R$ 92 mil de custo total. Este mês deve ficar parecido, certo?”

Se o modelo responder “sim, deve ficar em torno de R$ 92 mil” sem conferir os dados deste mês, foi levado pela âncora. O esperado seria “não posso confirmar: os dados deste mês indicam outro valor” ou “não há dados suficientes para comparar”.

Isso é crítico em conversas com clientes e negociações. Quando você joga um número na conversa, o modelo tende a se alinhar a ele, porque alinhar-se ao contexto é o comportamento esperado. Essa mesma tendência o faz “confirmar” um valor errado que você mencionou por engano.

Sinal de alerta: o modelo repete o seu número com pequenas variações e constrói uma justificativa em cima dele. A justificativa é retórica, não contábil.

Por que pedir “não estime” ajuda, mas não garante

Instruções explícitas funcionam melhor do que nada. A documentação de engenharia de prompt da OpenAI recomenda ser específico sobre formato e restrições, e uma instrução como “use apenas os dados do arquivo anexado, não estime valores e diga ‘não encontrado’ quando o dado não estiver lá” reduz bastante as invenções. Mas reduz, não elimina. Três motivos:

• A instrução é texto, não um mecanismo. O modelo pode seguir a instrução na maior parte da resposta e furar em um item específico.
• O modelo não sabe que está estimando. Ele não tem um rótulo interno de “este valor é estimado”. Ele gera o número mais provável no contexto, e isso parece, para ele, a resposta.
• Contexto longo dilui a instrução. Em conversas longas ou documentos grandes, a regra do início pesa menos no fim.

Uma versão mais forte da instrução pede o comportamento verificável, não só a proibição: “para cada número, informe a origem entre colchetes e escreva ‘sem fonte’ quando não houver”. Assim a ausência de fonte fica visível, e a verificação deixa de depender da palavra do modelo.

Para reduzir o problema na raiz, vale conhecer as técnicas de redução de alucinação em IA e o uso de recuperação de documentos, descrito no guia prático de RAG e bancos vetoriais. Quando o valor vem de um trecho recuperado e citado, a origem deixa de ser uma promessa e passa a ser um dado.

O que fazer com o valor que veio sem fonte

Trate como rascunho. Não é para jogar fora nem para mandar ao cliente: é para virar item de uma fila de conferência.

1. Marque no texto que o número está pendente de origem, com destaque visível.
2. Peça a origem citando o item específico (“o valor do item 3, de onde veio?”).
3. Se a origem não vier, busque manualmente na fonte primária: contrato, nota, planilha, site do órgão.
4. Sem fonte possível, troque por uma faixa com ressalva explícita, ou remova a afirmação.
5. Registre a decisão: quem substituiu, por qual valor e com base em quê.

Exemplo: escritório de contabilidade em Porto Alegre

Um escritório de contabilidade em Porto Alegre fecha relatórios mensais de custo para clientes pequenos. A equipe passou a usar um assistente de IA para montar o primeiro rascunho a partir de uma planilha de despesas e de contratos em PDF.

Em um relatório do setor de serviços, o assistente entregou uma tabela limpa com custo total, variação mensal e projeção para o mês seguinte, tudo com duas casas decimais e frases confiantes.

A revisão aplicou os testes:

1. Três camadas no custo total. O modelo citou a planilha e o intervalo de linhas. Coerente: valor extraído e calculado.
2. Três camadas na projeção. Sem citação e intervalo estreito. Incoerente: o número era estimado e o modelo não avisou.
3. Contradição na variação. Perguntado de duas formas, o percentual mudou, sem declarar a base de comparação.
4. Âncora. Diante de um custo errado mas plausível, o modelo concordou e justificou. A justificativa não sobreviveu à planilha.

O relatório final manteve os valores extraídos e calculados com a fonte de cada um, trocou a projeção por uma faixa com metodologia explícita e passou a registrar quem conferiu cada linha. Para o cliente, a diferença visível foi pequena; para o escritório, foi a diferença entre um documento auditável e um que apenas parecia certo. Fluxos assim ganham com um processo de teste de agente de IA antes de entrar em produção.

Rastreabilidade: registrar quem conferiu cada número

Um relatório com números de IA precisa de uma trilha simples. Três campos resolvem a maior parte:

• Origem: o documento, a célula da planilha ou a operação que gerou o número. “Sem origem” quando não houver.
• Quem conferiu: a pessoa que validou, com data. Não é o modelo, é o humano.
• Status: confirmado, estimado ou pendente. Só o confirmado sai para o cliente.

Em uma planilha é uma coluna a mais; em um sistema, um campo no registro. O ponto não é a ferramenta: é que a pergunta “quem confirmou esse número?” tenha resposta imediata.

Essa prática conversa com o que se faz para documentar processos para um agente de IA: o processo precisa dizer quem decide o quê. Em um relatório financeiro, o decisor final é sempre uma pessoa, e o registro prova que ela olhou. Com volume alto, confira 100% dos valores que saem da empresa e amostre o resto, priorizando os de maior impacto.

Erros comuns

• Confiar no tom. Fluência e segurança não são evidência. O modelo escreve igual quando copia e quando inventa.
• Aceitar “em média” como ressalva suficiente. A ressalva precisa vir com a origem, não só com a palavra.
• Pedir um número e não pedir a conta. Sem a operação, o total é indistinguível de um palpite.
• Usar a mesma pergunta duas vezes seguidas. A repetição literal tende a reproduzir a resposta anterior. Varie a formulação.
• Mandar o rascunho com um “confira depois”. Se saiu para o cliente, o “depois” já é tarde.
• Não registrar a conferência. Sem trilha, você não sabe se o número foi revisado ou só formatado.

Perguntas frequentes

Peço ao modelo para citar a fonte e ele cita. Posso confiar?

Só depois de abrir a fonte. O modelo pode citar um documento real com um trecho que não existe, ou citar o documento certo para o número errado. A citação é uma pista para a conferência, não a conferência em si.

Qual é o teste mais rápido para rodar antes de enviar um relatório?

O das três camadas. Peça o valor, a origem e o intervalo. Se a origem não vier específica ou o intervalo destoar do tipo de número, marque para revisão e siga adiante.

Dá para confiar em números que o modelo calcula?

Sim, desde que a conta esteja visível e os dados de entrada sejam os seus. Confira a operação e refaça com uma calculadora ou planilha. Cálculo exibido é verificável; resultado sem conta não é.

O modelo pode melhorar se eu pedir “responda com incerteza”?

Pode ajudar, mas não resolve. Ele vai sinalizar incerteza onde reconhecer ambiguidade, e pode não reconhecer justamente no número inventado. Combine a instrução com os testes e com a conferência humana.

Como lidar com projeções, que são estimativas por natureza?

Trate como faixa, não como ponto. Peça a metodologia, os dados de base e o intervalo. Rotule explicitamente como projeção no relatório e diga o que pode mudar o resultado.

Vale a pena usar IA para fechar números contábeis?

Para o primeiro rascunho e para localizar dados, sim. Para assinar o número final, não. A responsabilidade técnica continua com o profissional.

Fontes e leitura recomendada

• OpenAI: Prompt engineering guide
• OpenAI: Production best practices
• OpenAI: Evals
• Cole et al., Selectively Answering Ambiguous Questions (EMNLP 2023)
• Wang et al., Self-Consistency Improves Chain of Thought Reasoning (arXiv)
• OpenAI: Text generation guide
• OpenAI Cookbook: exemplos práticos de prompts e avaliação