Modelos de Linguagem
Quantização AWQ e GPTQ para modelos de 70B: como rodar IA local com duas GPUs RTX 4090
Aprenda a hospedar modelos abertos de 70 bilhões de parâmetros localmente com quantização AWQ e GPTQ de 4…
Hardware
Assuntos relacionados
2 matérias
Modelos de Linguagem
Quantização FP4 e NVFP4 em GPUs Blackwell: limites e precisão na inferência de IA
Entenda o suporte nativo a NVFP4 na arquitetura Nvidia Blackwell, os ganhos reais de vazão e as técnicas…