SGLang

Snabbt serveringsramverk för LLM:er och visionspråkmodeller.

SGLang är ett snabbt serveringsramverk för stora språk- och visionspråkmodeller som kombinerar en optimerad körning med ett strukturerat genereringsspråk. Körningsmiljön har RadixAttention för automatisk återanvändning av delade prefix-KV-cachar, tillsammans med kontinuerlig batchning och effektiv strukturerad/begränsad avkodning. Det riktar sig mot högdataflödesservering av komplexa, flerkalls- och agentbaserade LLM-program.