SGLang

Snel servingframework voor LLMs en vision-language modellen.

SGLang is een snel servingframework voor grote taal- en vision-language modellen dat een geoptimaliseerde runtime combineert met een gestructureerde generatietaal. De runtime beschikt over RadixAttention voor het automatisch hergebruiken van gedeelde prefix-KV-caches, continue batching en efficiënte gestructureerde/beperkte decodering. Het is gericht op high-throughput serving van complexe, multi-aanroep en agentische LLM-programma's.