SGLang

Framework de servicio rápido para LLMs y modelos de lenguaje y visión.

SGLang es un framework de servicio rápido para grandes modelos de lenguaje y visión que combina un runtime optimizado con un lenguaje de generación estructurada. Su runtime incluye RadixAttention para la reutilización automática de cachés KV de prefijo compartido, junto con batching continuo y decodificación estructurada/restringida eficiente. Está orientado al servicio de alto rendimiento de programas LLM complejos con múltiples llamadas y comportamiento agéntico.