SGLang

Schnelles Serving-Framework für LLMs und Vision-Language-Modelle.

SGLang ist ein schnelles Serving-Framework für große Sprach- und Vision-Language-Modelle, das eine optimierte Laufzeitumgebung mit einer strukturierten Generierungssprache kombiniert. Die Laufzeitumgebung bietet RadixAttention für automatische Wiederverwendung gemeinsamer Präfix-KV-Caches sowie Continuous Batching und effizientes strukturiertes/eingeschränktes Decoding. Es zielt auf hochdurchsatz-fähiges Serving komplexer, mehrstufiger und agentischer LLM-Programme ab.