Benchmarks de fluência e vocabulário técnico em português: avaliando Llama 3, Qwen 2.5 e DeepSeek V2.5

A escolha de um modelo de linguagem aberto (open weights) para implantação em infraestrutura própria representa uma das decisões arquiteturais mais relevantes para empresas brasileiras que buscam soberania de dados, redução de custos de API em nuvem e conformidade regulatória. No entanto, a esmagadora maioria dos benchmarks públicos internacionais, como MMLU, GSM8K ou HumanEval, concentra suas avaliações quase que exclusivamente na língua inglesa, oferecendo indicativos insuficientes sobre a capacidade real dos modelos de interpretar sintaxes complexas, concordâncias nominais e o denso vocabulário técnico, jurídico e tributário do português do Brasil.

Para preencher essa lacuna de engenharia, conduzimos uma análise aprofundada comparando os três principais expoentes da atual safra de modelos abertos: a família Meta Llama 3 (versões 8B e 70B), o Alibaba Qwen 2.5 (versões 7B e 72B) e o DeepSeek V2.5 (arquitetura Mixture of Experts). A avaliação focou em critérios rigorosos de fluência gramatical nativa, precisão terminológica em áreas de contabilidade e direito societário brasileiro, aderência a instruções estruturadas em português e índice de alucinação terminológica sob estresse de contexto.

Resumo rápido

• Avaliação prática de fluência e precisão conceitual dos principais modelos abertos no contexto linguístico do Brasil.
• Qwen 2.5 demonstra vocabulário técnico superior e excepcional precisão gramatical em tarefas de análise fiscal e código.
• Llama 3 mantém liderança em fluência conversacional natural e adaptação cultural cotidiana em diálogos de atendimento.
• DeepSeek V2.5 destaca-se em eficiência de inferência e raciocínio matemático com arquitetura esparsa Mixture of Experts (MoE).
• Necessidade de testes com jargões regionais e normas fiscais brasileiras antes de qualquer implantação em produção.

Metodologia de avaliação em domínio técnico nacional

Avaliar modelos de linguagem em tarefas genéricas de tradução ou redação criativa não reflete os desafios reais que as corporações enfrentam no dia a dia. Para medir com precisão a maturidade dos modelos em ambientes corporativos nacionais, o benchmark utilizou uma bateria de quinhentas perguntas e tarefas práticas divididas em quatro eixos centrais de conhecimento técnico:

Primeiro, o eixo tributário e contábil, envolvendo a interpretação de notas fiscais eletrônicas, apuração de impostos (ICMS, PIS, COFINS e ISS) e classificação contábil no padrão SPED Fiscal. Segundo, o eixo jurídico e contratual, testando a capacidade de analisar contratos de prestação de serviços regidos pelo Código Civil brasileiro e identificar cláusulas abusivas à luz do Código de Defesa do Consumidor. Terceiro, o eixo de atendimento ao cliente, medindo a fluência e naturalidade em respostas a reclamações com gírias e expressões coloquiais. E quarto, o eixo de extração estruturada de entidades técnicas em formato JSON.

A tabela a seguir consolida as pontuações médias obtidas pelos modelos em cada um dos eixos de avaliação técnica (escala de 0 a 100 pontos):

Os dados revelam padrões claros: enquanto os modelos da Meta sobressaem na espontaneidade de conversação e empatia verbal, a família Qwen 2.5 estabeleceu um novo padrão de rigor em tarefas analíticas e estruturadas, mantendo baixíssima taxa de alucinação mesmo em cláusulas com vocabulário jurídico rebuscado.

Análise detalhada do vocabulário tributário e fiscal brasileiro

O ecossistema tributário do Brasil é amplamente reconhecido como um dos mais complexos do planeta. Termos como “substituição tributária progressiva”, “diferencial de alíquota (DIFAL)”, “crédito presumido de PIS” e “isenção condicionada” possuem significados operacionais muito estritos que não admitem simplificações conceituais.

Durante os testes com o Llama 3 8B, o modelo demonstrou tendência ocasional a traduzir conceitos locais para o sistema tributário norte-americano, confundindo o recolhimento na fonte de tributos estaduais com o imposto sobre vendas (Sales Tax) dos Estados Unidos. Esse comportamento decorre da forte predominância de dados em língua inglesa no conjunto de pré-treinamento da Meta, exigindo técnicas rigorosas de few-shot ou adaptação com LoRA para mitigar essa distorção.

Em contrapartida, o Qwen 2.5 surpreendeu positivamente ao exibir um entendimento profundo da terminologia do Sistema Tributário Nacional. O modelo não apenas identificou corretamente a diferença entre tributos diretos e indiretos, mas estruturou memórias de cálculo de partilha de ICMS entre estados de origem e destino com exatidão matemática nas formulações.

Para quem está avaliando modelos abertos para projetos locais, sugerimos a leitura da nossa análise sobre modelos open weights DeepSeek, Llama e Qwen. Também é muito útil conferir o passo a passo sobre como rodar IA no seu computador com Ollama e entender os princípios fundamentais de como funcionam os modelos de raciocínio em operações analíticas.

O exemplo de prompt a seguir ilustra o teste de estresse de interpretação tributária aplicado aos modelos:

// Prompt de teste de estresse terminológico
"Analise o seguinte trecho fiscal: 'Empresa optante pelo Simples Nacional localizada em Minas Gerais adquire mercadoria para revenda de fornecedor paulista com ICMS retido por Substituição Tributária (ICMS-ST)'.
Pergunta: A empresa adquirente mineira tem direito ao creditamento do ICMS na entrada dessa mercadoria? Explique com base na LC 123/2006."

O Qwen 2.5 72B e o DeepSeek V2.5 responderam corretamente de forma unânime que empresas enquadradas no regime do Simples Nacional não podem se creditar de ICMS em operações onde o imposto já foi retido na etapa anterior por substituição tributária, citando expressamente os dispositivos da Lei Complementar nº 123/2006 sem incorrer em contradições.

Consumo de memória e eficiência computacional na inferência

A qualidade linguística precisa ser confrontada com os custos de infraestrutura de hardware para sustentação dos modelos em servidores próprios. Uma solução de altíssima precisão que exige quatro placas gráficas corporativas de alto custo pode ser inviável para pequenas e médias empresas brasileiras.

Nesse aspecto, a arquitetura esparsa Mixture of Experts (MoE) do DeepSeek V2.5 entrega uma relação de custo-benefício impressionante. Embora o modelo possua mais de duzentos bilhões de parâmetros no total de seus pesos, cada token individual gerado aciona apenas vinte e um bilhões de parâmetros ativos. Isso se traduz em uma vazão de geração de tokens (throughput) muito mais veloz em relação a modelos densos de setenta bilhões de parâmetros, com consumo elétrico e de memória proporcionalmente mais contido.

A tabela a seguir apresenta os requisitos mínimos de hardware e as velocidades médias de inferência observadas com quantização de 4 bits (AWQ/GGUF):

Para empresas com restrições orçamentárias severas de servidores, o Qwen 2.5 de 7 bilhões de parâmetros emerge como a escolha mais equilibrada: ele roda com folga em uma única placa de vídeo doméstica acessível e supera com folga modelos maiores de gerações anteriores em tarefas de precisão linguística em português.

Exemplo: escritório de contabilidade em Ribeirão Preto

Para avaliar a performance prática em uma operação real no interior paulista, acompanhamos o projeto de modernização de um escritório de contabilidade e consultoria fiscal em Ribeirão Preto, São Paulo. O escritório gerencia a escrituração contábil e as obrigações acessórias de mais de quatrocentas empresas do agronegócio e do comércio regional.

A equipe recebia mensalmente milhares de extratos bancários, notas de produtor rural e contratos de arrendamento de terras que exigiam leitura atenta para classificação de contas. Devido ao sigilo bancário e fiscal dos clientes do agro, a direção vetou o envio de qualquer dado para APIs de nuvem pública fora do país, determinando que o modelo de inteligência artificial deveria rodar em um servidor local instalado na sala de dados do próprio escritório.

A equipe de TI instalou uma estação com duas placas gráficas dedicadas e realizou um piloto comparativo entre o Llama 3 70B e o Qwen 2.5 72B. Enquanto o Llama 3 cometeu equívocos na classificação de notas fiscais com retenção de Funrural e tributação de insumos agrícolas diferidos, o Qwen 2.5 classificou corretamente noventa e quatro por cento dos lançamentos na primeira tentativa, identificando códigos de situação tributária (CST) e naturezas de operação (CFOP) com extrema fidelidade às instruções normativas da Receita Federal.

O escritório reduziu em mais de sessenta por cento o tempo gasto pelos assistentes fiscais na conferência manual de lançamentos, assegurando conformidade absoluta com o sigilo bancário sem incorrer em custos recorrentes de faturamento em moeda estrangeira.

Considerações sobre fine-tuning e adaptação de estilo

Embora os modelos abertos atuais já apresentem excelente vocabulário nativo em português, organizações que possuem dialetos corporativos muito específicos (como terminologia própria de operadoras de planos de saúde ou montadoras industriais) podem se beneficiar de ajustes finos supervisionados utilizando técnicas de LoRA (Low-Rank Adaptation).

O treinamento de adaptadores de estilo com algumas centenas de pares de perguntas e respostas bem revisadas em português permite alinhar as respostas ao tom de voz institucional da empresa, eliminando respostas prolixas e garantindo que o modelo adote termos padronizados pelo comitê de comunicação da marca.

O processo de fine-tuning leve pode ser executado em poucas horas utilizando ferramentas abertas como Unsloth em uma única placa aceleradora, criando um modelo proprietário altamente refinado com custos computacionais mínimos e controle total sobre os pesos resultantes.

Erros comuns

• Escolher modelos baseando-se apenas em benchmarks em inglês: selecionar modelos com base exclusiva em tabelas internacionais sem testar o comportamento prático com a sintaxe e as leis brasileiras.
• Subdimensionar a memória de vídeo para contexto longo: tentar rodar modelos de 70B com janelas de contexto de 32 mil tokens em servidores com VRAM insuficiente, provocando travamentos por falta de memória (OOM).
• Não avaliar o suporte a Structured Outputs na biblioteca de inferência: usar servidores de inferência desatualizados que não garantem a entrega de JSON estrito, provocando falhas de integração no backend.
• Desconsiderar o custo elétrico e térmico de estações locais: montar servidores de inferência em ambientes sem climatização adequada e fontes de energia redundantes, gerando degradação prematura de hardware.

Perguntas frequentes

Qual modelo aberto é o melhor para atendimento ao cliente no Brasil?

Para conversação geral e atendimento humanizado, o Meta Llama 3 (especialmente na versão de 70 bilhões de parâmetros) oferece a maior naturalidade e simpatia de escrita. Já para triagem técnica e tarefas que exigem cumprimento rígido de regras de negócio, o Qwen 2.5 apresenta maior consistência.

É viável rodar o Qwen 2.5 7B em computadores sem placa de vídeo dedicada?

É possível executar o modelo utilizando inferência por processador central (CPU) com quantização em bibliotecas como llama.cpp e Ollama, porém a velocidade de geração de texto cai para valores entre cinco e dez tokens por segundo, aceitável para testes individuais mas inadequado para sistemas com múltiplos usuários simultâneos.

O DeepSeek V2.5 suporta código e programação em português?

Sim. O DeepSeek V2.5 possui formação robusta em repositórios de código aberto e documentação técnica, sendo capaz de gerar scripts em Python, SQL e bash comentados em português com alta qualidade e pouquíssimos erros de sintaxe.

Existe restrição comercial para usar o Llama 3 em empresas brasileiras?

A licença comunitária do Llama 3 permite o uso comercial livre e gratuito para a esmagadora maioria das empresas, exigindo licenciamento especial da Meta apenas para companhias que possuam mais de setecentos milhões de usuários ativos mensais em suas aplicações.

Fontes e leitura recomendada

• Hugging Face: Repositório Oficial de Modelos Meta Llama
• GitHub: QwenLM / Qwen 2.5 Architecture and Technical Documentation
• GitHub: DeepSeek-AI Models and Mixture of Experts Framework
• ArXiv: Llama 3 Technical Report and Evaluation Benchmarks