LoRA e QLoRA: como fazer fine-tuning eficiente de LLMs com hardware modesto

Treinar um modelo de linguagem aberto por completo (full fine-tuning) exige clusters de supercomputadores com dezenas de placas de vídeo de alta densidade como as placas A100 ou H100 de 80 gigabytes. Para uma empresa de tecnologia ou departamento corporativo no Brasil, os custos de locação dessa infraestrutura em dólar tornam a personalização direta de modelos inacessível para a maioria dos projetos de médio porte.

As técnicas de Low-Rank Adaptation (LoRA) e Quantized LoRA (QLoRA) mudaram essa realidade matemática. Em vez de recalcular todos os bilhões de pesos do modelo base, essas técnicas congelam a rede principal e treinam apenas pequenas matrizes complementares de baixo posto (adapters), reduzindo o consumo de memória VRAM em até 80%. Veja neste guia técnico como funcionam os parâmetros de posto, a quantização em 4 bits e como ajustar modelos em computadores e servidores acessíveis.

Resumo rápido

• LoRA congela os pesos originais do modelo e treina pares de matrizes de decomposição de baixo posto (rank $r$).
• QLoRA aprimora o LoRA ao quantizar o modelo congelado para 4 bits em formato NormalFloat (NF4), economizando VRAM crítica.
• Permite treinar modelos de 8 bilhões de parâmetros (como Llama ou Qwen) em uma única GPU de 16GB a 24GB.
• Gera adaptadores ultraleves (poucos megabytes) que podem ser trocados em tempo de execução para tarefas distintas.
• Preserva o conhecimento geral do modelo base e evita o fenômeno de esquecimento catastrófico durante o ajuste.

Fundamentos matemáticos: por que o LoRA funciona

Durante o ajuste fino convencional de uma rede neural profunda com pesos $W$, o algoritmo calcula uma matriz de alterações $\Delta W$ com a mesma dimensão de $W$. Se uma camada de atenção possui dimensões de 4.096 por 4.096, atualizar toda a camada exige calcular e armazenar gradientes e estados de otimizador (como o AdamW) para mais de 16 milhões de números reais a cada passagem.

A publicação original de Hu e colaboradores (2021) demonstrou que as alterações necessárias para adaptar um modelo a uma tarefa específica possuem uma “dimensão intrínseca” muito baixa. O LoRA decompõe a matriz de atualização em duas matrizes muito menores, $A$ e $B$, de modo que:

W_novo = W_congelado + (B x A) * (alpha / r)

Se a dimensão original é $d = 4.096$ e escolhemos um posto de adaptação $r = 16$, a matriz $A$ tem tamanho $4.096 \times 16$ e a matriz $B$ tem tamanho $16 \times 4.096$. O número de parâmetros treináveis cai de 16,7 milhões para apenas 131 mil (uma redução de mais de 99%). Durante a inferência, é possível fundir os pesos de volta à matriz principal com zero aumento de latência.

Para entender como isso se posiciona frente às estratégias de recuperação de dados, veja nossa análise comparando fine-tuning ou RAG: quando treinar um modelo e quando buscar documentos, o guia de quantização de modelos em GGUF, AWQ e EXL2 e o panorama sobre modelos de código aberto como DeepSeek, Llama e Qwen.

A evolução do QLoRA: o segredo do NormalFloat 4 (NF4)

Mesmo com o LoRA reduzindo os parâmetros treináveis, o modelo base ainda precisava ser carregado na memória da placa de vídeo em precisão de 16 bits (FP16 ou BF16). Um modelo de 13 bilhões de parâmetros ainda exigia mais de 26GB de VRAM só para manter os pesos na memória antes do início do treinamento.

O QLoRA (Dettmers et al., 2023) introduziu três inovações que quebraram essa barreira:

• Tipo de dado 4-bit NormalFloat (NF4): Um formato de quantização teoricamento ótimo para pesos que seguem uma distribuição normal com média zero, preservando a acurácia do modelo muito melhor do que a quantização inteira (INT4) comum.
• Double Quantization (DQ): Quantiza também as constantes de quantização intermediárias, economizando cerca de 0,37 bits por parâmetro (cerca de 3GB em modelos de grande porte).
• Paged Optimizers: Utiliza o recurso de paginação de memória da arquitetura CUDA para descarregar picos temporários de gradientes da memória da GPU para a memória RAM convencional da placa-mãe, evitando falhas de falta de memória (Out of Memory – OOM).

Comparativo de requisitos de infraestrutura

A tabela demonstra o consumo de VRAM necessário para ajustar um modelo típico de 8 bilhões de parâmetros com tamanho de contexto de 2.048 tokens:

Parâmetros cruciais: como configurar Rank, Alpha e Dropout

Ao configurar o treinamento com a biblioteca PEFT da Hugging Face ou com o framework Unsloth, três hiperparâmetros determinam o sucesso da convergência:

from peft import LoraConfig

config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

• Rank ($r$): Define a largura das matrizes adaptadoras. Para tarefas de classificação e estilização de texto, $r = 8$ ou $r = 16$ costuma ser suficiente. Para tarefas com raciocínio lógico rígido ou código de programação, utilize $r = 32$ ou $r = 64$. Valores superiores aumentam o consumo de memória sem ganhos proporcionais de acurácia.
• Lora Alpha ($\alpha$): Fator de escala da atualização. A regra prática mais recomendada é manter $\alpha = 2 \times r$. Essa proporção estabiliza os gradientes sem exigir taxas de aprendizado microscópicas.
• Target Modules: No início do LoRA, adaptavam-se apenas as projeções de query e value (q_proj e v_proj). Pesquisas recentes comprovam que aplicar adaptadores em todos os módulos de atenção e camadas lineares do MLP (adicionando k_proj, o_proj, gate_proj, up_proj e down_proj) produz resultados muito superiores com pouco aumento de VRAM sob o QLoRA.

Exemplo: Adaptação de vocabulário contábil e fiscal em Belo Horizonte

Um escritório de assessoria tributária em Belo Horizonte (MG) precisava de um assistente para redigir relatórios de apuração de ICMS e créditos de PIS/Cofins conforme a legislação mineira. Modelos públicos cometiam erros conceituais recorrentes sobre a terminologia de substituição tributária estadual.

A equipe selecionou um modelo de código aberto de 8 bilhões de parâmetros e preparou um conjunto de dados interno contendo 1.500 pares de perguntas e respostas técnicas revisadas por contadores sêniores. Utilizando o framework QLoRA em uma única placa de vídeo comercial com 24GB de VRAM, o treinamento foi concluído em apenas três horas.

O arquivo final do adaptador gerado tem apenas 45 megabytes de tamanho. Em vez de subir um modelo gigante novo para cada servidor, o escritório distribuiu o pequeno arquivo adaptador para os computadores locais de sua equipe interna, carregando o adaptador sobre o modelo base via Ollama e vLLM. O assistente passou a redigir laudos tributários no padrão do escritório sem alucinar termos contábeis regionais.

Erros comuns

• Usar fine-tuning quando a solução era RAG: O fine-tuning serve para ensinar estilo, tom de voz, formato estruturado e novas terminologias. Não use fine-tuning para injetar fatos voláteis ou bases de dados de produtos que mudam toda semana.
• Treinar com taxa de aprendizado excessiva: Como o modelo base está congelado e os adaptadores são pequenos, taxas de aprendizado acima de $2 \times 10^{-4}$ podem desestabilizar o treinamento e gerar respostas repetitivas ou incoerentes.
• Ignorar o alinhamento de formatação de prompt (Chat Template): Não respeitar a estrutura de tags específica do modelo base (como os marcadores do Llama ou ChatML) faz o modelo perder a capacidade de distinguir onde começa a fala do usuário e do assistente.
• Esquecer de salvar os pesos quantizados corretamente: Não fundir os pesos (merge) ou esquecer de salvar o arquivo de configuração do adaptador impede o carregamento em runtimes rápidos de produção como vLLM e TGI.
• Avaliar o modelo apenas pela perda (loss) de treinamento: Uma curva de loss em queda nem sempre significa que o modelo aprendeu o padrão desejado. Avalie sempre com um conjunto de teste cego contendo exemplos reais do dia a dia do negócio.

Perguntas frequentes

Posso rodar múltiplos adaptadores LoRA no mesmo modelo base simultaneamente?

Sim. Tecnologias modernas de serviço de modelos (como vLLM com suporte a multi-LoRA e S-LoRA) permitem manter apenas uma cópia do modelo base na memória da GPU e aplicar adaptadores diferentes sob demanda para cada requisição de cliente, barateando a infraestrutura.

O QLoRA perde qualidade em relação ao LoRA tradicional em 16 bits?

Os experimentos técnicos documentados no artigo de lançamento do QLoRA demonstraram que o formato NF4 iguala a acurácia do treinamento em 16 bits na grande maioria dos benchmarks padrão, com a vantagem de consumir menos da metade da memória.

Quanto tempo leva para treinar um modelo de 8B com QLoRA?

Em uma GPU moderna como a RTX 4090 ou A10G, um conjunto de dados típico com 2.000 a 5.000 exemplos de alta qualidade costuma levar entre duas e quatro horas para convergir em três épocas de treinamento.

É possível fazer fine-tuning de modelos em português com LoRA?

Sim. Modelos recentes como Llama 3 e Qwen possuem excelente compreensão prévia da língua portuguesa. O ajuste fino via LoRA é ideal para aperfeiçoar o vocabulário jurídico, médico ou financeiro específico do Brasil.

Fontes e leitura recomendada

• Artigo Científico Original do LoRA: Low-Rank Adaptation of Large Language Models (arXiv)
• Artigo Científico Original do QLoRA: Efficient Finetuning of Quantized LLMs (arXiv)
• Documentação Oficial da Biblioteca PEFT da Hugging Face
• Repositório Oficial do Unsloth para Treinamento Rápido de LLMs no GitHub