Modelos de Linguagem
Continuous Batching e PagedAttention no vLLM
Entenda como continuous batching e PagedAttention organizam tarefas e KV cache no vLLM. Ajuste concorrência, contexto e memória…
Continuous batching
Assuntos relacionados
1 matérias