Modelos de Linguagem
Quantização AWQ e GPTQ para modelos de 70B: como rodar IA local com duas GPUs RTX 4090
Aprenda a hospedar modelos abertos de 70 bilhões de parâmetros localmente com quantização AWQ e GPTQ de 4…
GPTQ
Assuntos relacionados
1 matérias