Quantização AWQ e GPTQ para modelos de 70B: como rodar IA local com duas GPUs RTX 4090

A hospedagem local de modelos de linguagem abertos com 70 bilhões de parâmetros, como as famílias Llama 3.1 e Qwen 2.5, tornou-se plenamente viável em estações de trabalho corporativas equipadas com duas placas de vídeo Nvidia GeForce RTX 4090 (totalizando 48 GB de VRAM) por meio de técnicas avançadas de quantização em 4 bits como AWQ (Activation-aware Weight Quantization) e GPTQ (Generative Pre-trained Transformer Quantization). Em vez de arcar com aluguéis proibitivos de servidores em nuvem com GPUs para data center ou depender de APIs proprietárias que expõem dados sensíveis, empresas brasileiras conseguem alcançar vazões superiores a 35 tokens por segundo em ambientes isolados e totalmente aderentes à LGPD.

No entanto, comprimir redes neurais profundas de precisão original de 16 bits (FP16/BF16) para representações inteiras de 4 bits (INT4) sem degradar a capacidade de raciocínio lógico e a fluência em língua portuguesa exige rigor de engenharia na escolha do algoritmo de quantização e na configuração do motor de inferência. A distribuição da memória entre as duas placas via paralelismo de tensores (Tensor Parallelism) no framework vLLM demanda ajustes finos de barramento PCI Express e gerenciamento térmico para evitar gargalos de transferência.

Resumo rápido

• Duas GPUs RTX 4090 de 24 GB cada disponibilizam 48 GB de VRAM compartilhada para modelos de 70B.
• Quantização em 4 bits (AWQ e GPTQ) reduz o peso de um modelo de 70B de aproximadamente 140 GB para menos de 40 GB.
• O AWQ preserva pesos críticos com base nas ativações, retendo maior capacidade de raciocínio formal.
• O motor vLLM com Tensor Parallelism (TP=2) atinge taxas de geração entre 30 e 45 tokens por segundo.
• Garante privacidade absoluta para aplicações corporativas com dados confidenciais de saúde, jurídicos e financeiros.

Fundamentos da quantização de 4 bits: AWQ versus GPTQ

Um modelo de linguagem com 70 bilhões de parâmetros armazenado na precisão padrão de 16 bits (half-precision float) requer aproximadamente 140 GB de memória de vídeo dedicada unicamente para carregar seus pesos estáticos, sem computar o espaço necessário para o buffer de chave-valor (KV Cache) que sustenta a janela de contexto. Esse requisito de hardware tradicionalmente limitava a execução local a clusters caros com GPUs corporativas Nvidia A100 ou H100 de 80 GB de memória HBM.

A quantização é a técnica matemática de mapeamento de números de ponto flutuante contínuos em um conjunto discreto e compacto de inteiros. Ao reduzir a representação de cada peso de 16 bits para 4 bits, o consumo de memória por parâmetro cai para um quarto do tamanho original, permitindo que a rede neural ocupe cerca de 36 GB a 39 GB de VRAM. Os 9 GB a 12 GB restantes nos 48 GB das duas RTX 4090 ficam livres para o armazenamento do KV Cache e processamento de prompts longos.

Dentre os algoritmos modernos de quantização de pesos, duas metodologias se destacam na literatura científica e na prática da indústria de inteligência artificial:

1. GPTQ (Generative Pre-trained Transformer Quantization): É um método de quantização pós-treinamento (PTQ) baseado em aproximação de segunda ordem de matriz Hessiana. O algoritmo quantiza coluna por coluna das matrizes de pesos e compensa o erro gerado ajustando os pesos restantes. O GPTQ é extremamente veloz na inferência e oferece excelentes resultados de vazão, mas pode sofrer perda perceptível de acurácia em tarefas complexas de lógica matemática quando comparado a métodos mais recentes.

2. AWQ (Activation-aware Weight Quantization): O AWQ parte da premissa fundamental de que nem todos os pesos de uma rede neural possuem a mesma importância. O algoritmo analisa as distribuições de ativação geradas durante a passagem de um conjunto de calibração e descobre que apenas 0,5% a 1% dos pesos são realmente vitais para manter a inteligência do modelo. O AWQ protege esses pesos salientes mantendo escalas adequadas, quantizando o restante em 4 bits. Como resultado, o modelo quantizado via AWQ apresenta menor perda de perplexidade e preserva com maior fidelidade a aderência a instruções complexas.

Para entender os fundamentos de outros formatos populares de compressão local, confira nosso artigo sobre quantização de modelos de IA com GGUF, AWQ e EXL2.

Se você deseja rodar modelos mais leves com foco em simplicidade de configuração, leia também nosso tutorial de como rodar inteligência artificial local com Ollama.

Comparativo de desempenho: AWQ, GPTQ e precisão nativa

A tabela a seguir compara as métricas práticas de operação de um modelo de 70 bilhões de parâmetros (como Llama 3.1 70B Instruct) executado em ambiente dual RTX 4090 frente a servidores de nuvem de alta densidade.

Arquitetura de hardware e configuração do vLLM com Tensor Parallelism

Para extrair o rendimento máximo de duas placas RTX 4090 em um mesmo gabinete, o projeto de hardware precisa atender a requisitos elétricos e térmicos severos. Cada RTX 4090 possui TDP de até 450W, o que exige uma fonte de alimentação (PSU) de alta qualidade de pelo menos 1.200W a 1.500W com certificação 80 Plus Platinum ou Titanium, além de cabeamento dedicado ATX 3.0 com conectores nativos 12VHPWR.

No nível da placa-mãe, é indispensável que o chipset e as pistas do processador ofereçam suporte a barramentos PCIe bifurcados em pelo menos x8/x8 na versão PCIe 4.0 ou 5.0. Como as placas de consumo da série GeForce não contam com pontes físicas NVLink para comunicação direta de memória, toda a troca de tensores entre as placas ocorre através do barramento PCIe da placa-mãe. Uma placa-mãe que restrinja o segundo slot para PCIe x4 causará uma queda de mais de 40% na vazão de inferência devido ao estrangulamento da comunicação do Tensor Parallelism.

No software, o motor vLLM é a escolha hegemônica para produção. Ao iniciar o servidor com o comando `vllm serve`, utiliza-se a flag `–tensor-parallel-size 2` para instruir o motor a particionar as camadas dos blocos de atenção e feed-forward linearmente entre as duas GPUs. A ativação do algoritmo PagedAttention garante que a memória restante de VRAM seja alocada em blocos dinâmicos sem fragmentação, sustentando até vinte requisições concorrentes sem estouro de memória (Out Of Memory – OOM).

Para acompanhar os avanços na quantização de última geração para servidores corporativos, veja nossa análise sobre quantização FP4 e NVFP4 em GPUs Blackwell e inferência de IA.

Exemplo: Empresa de software médico em Porto Alegre processando prontuários sensíveis

Para compreender o valor estratégico dessa infraestrutura local, considere uma desenvolvedora de software hospitalar sediada em Porto Alegre (RS), que fornece sistemas de gestão clínica e inteligência diagnóstica para mais de sessenta hospitais e laboratórios da região Sul do país.

A empresa desejava oferecer um recurso avançado de estruturação automática de laudos de exames e resumos de internações em prontuários eletrônicos de pacientes. No entanto, os comitês de ética médica e os departamentos jurídicos dos hospitais vetaram expressamente o envio de relatórios clínicos com dados identificáveis para APIs de nuvem internacionais, sob pena de violação grave do sigilo médico e das sanções da LGPD.

A solução foi montar um servidor local em rack na sede da empresa equipado com um processador AMD Threadripper, 128 GB de memória RAM DDR5 e duas placas Nvidia RTX 4090 de 24 GB. A equipe utilizou o modelo aberto Qwen 2.5 70B Instruct quantizado no formato AWQ de 4 bits, servido através do vLLM com Tensor Parallelism ativado e endpoints compatíveis com a API da OpenAI.

Os hospitais passam a enviar os laudos não estruturados através de VPNs corporativas criptografadas. O modelo local processa textos de até 8.000 tokens em menos de cinco segundos, padronizando os diagnósticos de acordo com os códigos CID-10 e TUSS, extraindo alergias medicamentosas e estruturando os parâmetros vitais sem que um único byte de dado trafegue pela internet pública.

Além da conformidade jurídica incontestável, a empresa reduziu os custos operacionais projetados em mais de 75% na comparação com instâncias equivalentes de GPUs na nuvem, amortizando integralmente o investimento no hardware físico em menos de sete meses de operação ininterrupta.

Erros comuns

Montar e operar um cluster local dual RTX 4090 com modelos de 70 bilhões de parâmetros envolve desafios técnicos que frequentemente frustram equipes desavisadas:

• Ignorar o espaçamento físico e térmico entre as duas GPUs: Instalar duas placas largas de 3,5 slots coladas uma na outra sufoca as ventoinhas da placa superior, levando a thermal throttling severo e quedas bruscas de desempenho em poucos minutos.
• Utilizar conjuntos de calibração em inglês para calibrar o AWQ de modelos usados em português: Quantizar um modelo com dataset de calibração que não contenha textos em língua portuguesa pode degradar a acentuação e a fluência sintática em português do Brasil.
• Alocar 100% da VRAM para os pesos sem reservar margem para o KV Cache: Configurar a flag `gpu_memory_utilization` em 0.99 no vLLM causa travamentos por OOM assim que a janela de contexto atinge milhares de tokens em requisições reais.
• Esquecer de travar a velocidade de clock das GPUs no Linux: Oscilações contínuas de frequência de clock gerenciadas pelo driver podem introduzir inconsistências e picos de latência (jitter) nas respostas da API local.
• Subestimar o consumo de energia da rede elétrica predial: Duas RTX 4090 somadas à CPU em carga plena consomem facilmente mais de 1.100W contínuos, exigindo nobreaks corporativos senoidais puros com capacidade mínima de 2.000 VA.

Perguntas frequentes

O modelo de 70B quantizado em 4 bits via AWQ perde muita inteligência para o modelo original?

Não. Estudos empíricos e benchmarks como MMLU e GSM8K demonstram que a degradação de acurácia com AWQ moderno é inferior a 1,5% em relação ao modelo FP16 original, mantendo a capacidade de síntese, programação e lógica quase indistinguível.

É possível usar três ou quatro placas RTX 4090 em uma mesma estação de trabalho?

Sim, desde que a placa-mãe seja de classe workstation/servidor (como AMD TRX50 ou WRX90) e o gabinete possua refrigeração líquida ou espaçamento suficiente para acomodar o fluxo de ar e a demanda elétrica de até 2.000W.

O que é melhor para inferência com duas GPUs: AWQ ou GPTQ?

O AWQ é geralmente preferido quando se prioriza a manutenção da capacidade de raciocínio e aderência a instruções complexas. O GPTQ é ligeiramente mais rápido em alguns kernels e suportado por ecossistemas legados mais amplos.

Como garantir que o tráfego do servidor vLLM local fique isolado da internet?

O servidor deve ser configurado para escutar unicamente em interfaces de rede locais (como `127.0.0.1` ou IPs de sub-redes privadas) com proteção por firewall e acesso restrito por chaves de API locais e túneis de VPN.

O vLLM suporta streaming de tokens em tempo real com duas RTX 4090?

Sim. O vLLM possui suporte nativo completo a streaming de tokens via Server-Sent Events (SSE), entregando respostas fluidas em interfaces web e aplicativos locais com latência quase imperceptível de início de geração.

Fontes e leitura recomendada

• Repositório oficial e documentação técnica do framework vLLM
• Artigo científico original da metodologia AWQ (Activation-aware Weight Quantization) no arXiv
• Documentação oficial de arquitetura de GPUs e bibliotecas CUDA da Nvidia
• Guias de documentação sobre modelos abertos e formatos de quantização no Hugging Face