Açık KaynakÇıkarım18k

SGLang

LLM'ler ve görsel-dil modelleri için hızlı sunum framework'ü.

SGLang, optimize edilmiş bir çalışma zamanını yapılandırılmış üretim diliyle birleştiren, büyük dil ve görsel-dil modelleri için hızlı bir sunum framework'üdür. Çalışma zamanı, paylaşılan önek KV önbelleklerinin otomatik olarak yeniden kullanımı için RadixAttention, sürekli toplu işlem ve verimli yapılandırılmış/kısıtlı kod çözme özelliklerini barındırır. Karmaşık, çok çağrılı ve ajansif LLM programlarının yüksek verimli sunumunu hedefler.

Repo'yu görüntüle

Depo

sgl-project/sglang

Dil

Python

Bununla neler kurabilirsin

Pek çok isteğin ortak prompt önekleri paylaştığı durumlarda LLM ve görsel-dil modellerini yüksek verimle sunma
Yapılandırılmış üretim DSL'i ile karmaşık prompt programları (çok turlu, dallanan, paralel çağrılar) uygulama
Ölçekte kısıtlı veya yapılandırılmış kod çözmeyi (ör. JSON şemasıyla yönlendirilen çıktı) verimli biçimde çalıştırma

Etiketler

servingthroughputvlm