vLLM

Hochdurchsatz-LLM-Serving-Engine auf Basis von PagedAttention.

vLLM ist eine hochdurchsatz- und speichereffiziente Inferenz- und Serving-Engine für LLMs, ursprünglich von der UC Berkeley. Die Kerninnovation, PagedAttention, verwaltet den Attention-Key-Value-Cache wie virtuellen Speicher und verbessert so die GPU-Speicherauslastung und den Batching-Durchsatz erheblich. Es unterstützt Continuous Batching, Tensor- und Pipeline-Parallelismus, Quantisierung sowie einen OpenAI-kompatiblen Server und wird weit verbreitet für den produktionsreifen Betrieb eingesetzt.