Para saber qual modelo de IA responde melhor sobre os documentos da sua empresa, não confie em ranking público nem em impressão de uso: monte de 20 a 30 perguntas com resposta conhecida (o gabarito) a partir dos seus próprios manuais, contratos e políticas, rode as mesmas perguntas em 2 ou 3 modelos nas mesmas condições, dê nota com uma rubrica simples e registre tudo numa planilha. Com preparação mínima, isso cabe em uma tarde.
O resultado não é um benchmark científico. É uma evidência concreta, com os seus documentos e as suas perguntas, que permite decidir qual modelo adotar, qual descartar e onde ainda é preciso revisão humana. As próprias OpenAI, Anthropic e Google recomendam avaliações específicas para a tarefa em vez de métricas genéricas; este guia transforma essa recomendação em um roteiro prático para quem não é desenvolvedor.
Resumo rápido
- Defina antes do teste o que é sucesso: acerto mínimo, tolerância a erro grave, formato, custo e privacidade.
- Escreva 20 a 30 perguntas reais com gabarito e a fonte de cada resposta (documento e página), incluindo perguntas sem resposta nos documentos.
- Rode as perguntas em 2 ou 3 modelos com o mesmo prompt, os mesmos arquivos e conversa nova a cada rodada.
- Pontue com uma rubrica de 0 a 2 por critério e marque à parte os erros graves.
- Decida com base nos critérios definidos no início, não na resposta que “pareceu melhor”.
Por que testar com os seus documentos
Rankings públicos medem habilidades gerais em perguntas que não são as suas. Eles não dizem se o modelo vai ler corretamente a tabela de comissões da sua empresa, respeitar a política de reembolso vigente ou admitir que uma informação não está no manual. O guia de boas práticas de avaliação da OpenAI lista como erros justamente confiar apenas em métricas acadêmicas genéricas e julgar qualidade “pelo feeling”, e recomenda desenhar avaliações que reflitam a tarefa real.
A documentação da Anthropic segue a mesma linha: avaliações devem espelhar a distribuição real de tarefas e incluir casos de borda, como pergunta sobre informação inexistente, entrada longa demais ou caso ambíguo em que até pessoas discordariam. O Google, no serviço de avaliação de IA generativa da Vertex AI, cita “encontrar o melhor modelo” com comparações diretas usando os seus próprios dados como um dos usos principais.
Se a sua equipe ainda está escolhendo entre os assistentes, vale ler antes o nosso comparativo de como escolher entre Claude, GPT e Gemini. O teste desta tarde serve para confirmar ou derrubar essa escolha com dados da casa.
Antes de começar: defina o que é sucesso
A Anthropic recomenda que critérios de sucesso sejam específicos, mensuráveis, alcançáveis e relevantes. Em vez de “o modelo precisa ser bom”, escreva algo como “acertar pelo menos 24 de 30 perguntas, sem nenhum erro grave em prazos e valores, citando a fonte em todas as respostas”. A mesma página lembra que quase todo caso de uso exige mais de uma dimensão: fidelidade à tarefa, consistência, tom, uso do contexto, privacidade, tempo de resposta e preço.
Anote também as restrições que eliminam um modelo antes mesmo do teste. Se os documentos têm dados pessoais de clientes, confira o que o plano contratado permite e o que a LGPD exige; nosso guia de segurança e LGPD na implantação de IA ajuda nessa triagem. Para o teste, prefira documentos sem dados pessoais ou versões anonimizadas.
Passo 1: monte de 20 a 30 perguntas com gabarito
Separe os documentos que o assistente vai usar no dia a dia: manual de atendimento, tabela de preços, contrato padrão, política interna. Depois escreva as perguntas como um cliente ou funcionário escreveria, não como um professor. As melhores vêm do histórico real: e-mails, mensagens de WhatsApp e chamados antigos. A OpenAI recomenda exatamente isso: usar registros reais e exemplos escritos por especialistas, misturando casos típicos, de borda e adversariais.
Uma distribuição que funciona bem para 30 perguntas:
| Tipo de pergunta | Quantidade sugerida | Exemplo | O que revela |
|---|---|---|---|
| Fato direto | 10 | “Qual o prazo para pedir reembolso?” | Se o modelo encontra a informação |
| Combinação de trechos | 6 | “Cliente do plano anual pode trocar de plano no terceiro mês sem multa?” | Se junta regras de seções diferentes |
| Número ou cálculo | 4 | “Quanto fica a multa de rescisão em um contrato de R$ 2.000 por mês?” | Erros de conta e de leitura de tabela |
| Sem resposta nos documentos | 5 | “Vocês atendem aos domingos?” (se o manual não diz) | Se o modelo admite que não sabe ou inventa |
| Ambígua ou com armadilha | 5 | Pergunta que usa um termo antigo ou uma regra revogada | Se pede esclarecimento ou usa a versão certa |
Para cada pergunta, escreva o gabarito em uma ou duas frases e a fonte exata (arquivo, página ou seção). Peça a quem conhece o processo que revise o gabarito: uma resposta “certa” errada invalida a tarde inteira. Se quiser ir além e montar um conjunto maior de factualidade, veja como montar um conjunto brasileiro de teste de factualidade.
Passo 2: rode as perguntas em 2 ou 3 modelos
O objetivo é comparar modelos, então todo o resto precisa ser igual:
- Mesmo prompt de instrução. Algo como: “Responda apenas com base nos documentos anexos. Cite o arquivo e a página. Se a informação não estiver nos documentos, diga que não encontrou.”
- Mesmos arquivos, na mesma versão. Coloque a data no nome do arquivo.
- Conversa nova a cada rodada. O histórico e a memória do assistente interferem na resposta. Use chat temporário ou anônimo quando o assistente oferecer.
- Mesmas configurações. Busca na web desligada, a não ser que a tarefa real dependa dela.
- Registro do modelo e da data. Anote o nome exato do modelo selecionado; fornecedores atualizam modelos com frequência.
Você pode fazer tudo pela interface de chat, colando pergunta por pergunta. Com 30 perguntas e 3 modelos são 90 respostas: dá trabalho, mas cabe numa tarde se duas pessoas dividirem a tarefa. Quem tem acesso à API pode automatizar a rodada com um script simples ou com uma ferramenta de avaliação.
Uma observação para quem usa a plataforma de Evals da OpenAI: a página de descontinuações informa que, em 31 de outubro de 2026, as avaliações existentes passam a ser somente leitura e que o painel e a API de Evals estão programados para serem desligados em 30 de novembro de 2026. A própria OpenAI aponta um caminho de migração para o Promptfoo. No Google Cloud, o serviço de avaliação da Vertex AI permite comparar modelos do Google e de terceiros com os seus dados.
Passo 3: pontue com uma rubrica simples
Rubrica é a régua de correção escrita antes de olhar as respostas. Ela evita que a nota dependa do humor de quem corrige. Uma rubrica de três critérios, de 0 a 2 pontos cada, resolve a maioria dos casos:
| Critério | 0 ponto | 1 ponto | 2 pontos |
|---|---|---|---|
| Correção | Contradiz o gabarito ou inventa | Parcialmente certa ou incompleta | Bate com o gabarito |
| Fidelidade à fonte | Sem fonte ou fonte errada | Fonte vaga (“no manual”) | Cita arquivo e página corretos |
| Utilidade e formato | Confusa ou fora do formato pedido | Útil, mas longa ou com ruído | Clara, no formato pedido |
Além da nota, crie uma coluna “erro grave” (sim ou não) para respostas que causariam dano real: prazo errado, valor errado, promessa que a empresa não faz, dado de outro cliente. Um modelo com média alta e dois erros graves pode perder para outro com média um pouco menor e nenhum.
Nas perguntas sem resposta nos documentos, o “certo” é admitir que não encontrou. Responder com algo plausível vale zero em correção.
Usar outra IA como corretora
Dá para pedir a um modelo que corrija as respostas com base na rubrica e no gabarito. A Anthropic recomenda rubricas detalhadas, saída objetiva (por exemplo, “correto” ou “incorreto”, ou nota de 1 a 5) e, em geral, usar um modelo diferente do que gerou as respostas. A OpenAI sugere preferir comparações em pares ou aprovado e reprovado a notas abertas, controlar a tendência dos avaliadores automáticos de favorecer respostas mais longas e só escalar o avaliador automático depois que ele concordar com a correção humana. Em uma tarde com 90 respostas, corrigir à mão costuma ser mais rápido do que calibrar um avaliador. Para entender o assunto a fundo, leia LLM como juiz para assistentes em português.
Passo 4: registre na planilha e decida
Uma planilha com uma linha por resposta é suficiente. Colunas sugeridas: número da pergunta, tipo, pergunta, gabarito, fonte, modelo, data, resposta (colada), nota de correção, nota de fidelidade, nota de formato, total, erro grave, observação. Com uma tabela dinâmica, você obtém a média por modelo, a média por tipo de pergunta e a contagem de erros graves.
Na hora de decidir, volte aos critérios do início:
- Elimine quem teve erro grave acima da tolerância definida.
- Entre os restantes, compare a média geral e, principalmente, a média nas perguntas sem resposta e nas de cálculo, onde os modelos mais se diferenciam.
- Pese custo, tempo de resposta, integrações que a equipe já usa e as condições de privacidade do plano.
- Registre a decisão e o motivo na própria planilha.
Se nenhum modelo atingiu o mínimo, o problema pode não ser o modelo: documentos desatualizados, contraditórios ou mal digitalizados derrubam qualquer um. Corrija a base antes de repetir o teste.
Exemplo: escritório de contabilidade em Curitiba escolhe um assistente
Um escritório de contabilidade de Curitiba quer um assistente que ajude a equipe a responder clientes sobre prazos internos, documentos exigidos para abertura de empresa e regras do contrato de prestação de serviços. Os sócios tinham opiniões diferentes sobre qual assistente usar e decidiram testar.
Numa terça-feira à tarde, uma analista e um dos sócios separaram o contrato padrão, o checklist de abertura de empresa e o manual interno de atendimento, todos sem dados de clientes. Escreveram 30 perguntas a partir de e-mails reais dos últimos meses, incluindo cinco cuja resposta não estava em nenhum documento, e anotaram a página de cada gabarito.
Cada um rodou as perguntas em dois dos três assistentes avaliados, sempre em conversa nova, com o mesmo prompt e os mesmos três PDFs. Corrigiram com a rubrica de 0 a 2 e marcaram os erros graves. A planilha mostrou o que a impressão de uso escondia: as diferenças entre os modelos apareceram principalmente nas perguntas sem resposta e nas que combinavam cláusulas do contrato com o manual. A decisão foi registrada com os critérios, e o conjunto de perguntas virou o teste padrão para quando o fornecedor anunciar um novo modelo.
Erros comuns
- Escrever o gabarito depois de ler as respostas. A tendência é aceitar como certo o que o modelo disse. Gabarito vem antes.
- Só fazer perguntas fáceis. Todos os modelos acertam o óbvio. As perguntas sem resposta e as de combinação são as que separam.
- Mudar o prompt no meio do teste. Se você melhorar a instrução depois do primeiro modelo, os outros ganham vantagem. Ajuste e recomece.
- Testar na mesma conversa. O histórico contamina as respostas seguintes.
- Olhar só a média. Um erro grave pesa mais do que vários acertos parciais.
- Usar documentos com dados pessoais sem avaliar o plano contratado. O teste também é tratamento de dados.
- Tratar o resultado como definitivo. Modelos mudam. Guarde as perguntas para repetir o teste quando houver atualização.
Perguntas frequentes
20 perguntas não é pouco?
Para uma decisão inicial entre 2 ou 3 modelos, 20 a 30 perguntas bem escolhidas já mostram diferenças grandes e erros graves. A Anthropic observa que mais perguntas com correção automática costumam valer mais do que poucas corrigidas à mão; se o uso for crítico, amplie o conjunto depois.
Posso usar a versão gratuita dos assistentes?
Pode, desde que compare o que você realmente vai contratar. Modelos, limites de arquivo e regras de uso de dados variam por plano. Teste no plano que a equipe vai usar.
Preciso saber programar?
Não. A versão manual usa só o chat e uma planilha. Programação ajuda a repetir o teste com frequência, e aí ferramentas de regressão fazem sentido.
Como repetir o teste quando sair um modelo novo?
Guarde perguntas, gabaritos, prompt e documentos numa pasta versionada e rode de novo. Para automatizar essa repetição, veja o passo a passo de testes de regressão em prompts com DeepEval.
E se os modelos empatarem?
Desempate pelos critérios secundários definidos no início: custo, tempo de resposta, integrações com as ferramentas que a equipe já usa e condições de privacidade. Consulte também a página de integrações do Claude e da Anthropic e as equivalentes dos outros fornecedores.
