مفتوح المصدراستدلال18k
SGLang
إطار عمل تقديم سريع لنماذج LLM ونماذج اللغة والرؤية.
SGLang إطار عمل تقديم سريع لنماذج اللغة الكبيرة ونماذج اللغة والرؤية يجمع بين بيئة تشغيل محسّنة ولغة توليد منظمة. تتميز بيئة التشغيل بـ RadixAttention لإعادة استخدام ذاكرات التخزين المؤقت KV للبادئة المشتركة تلقائيًا، مع الدفع المستمر وفك التشفير المنظم والمقيّد الفعّال. تستهدف التقديم عالي الإنتاجية لبرامج LLM المعقدة ذات الاستدعاءات المتعددة والوكيلية.
المستودع
sgl-project/sglangاللغة
Pythonما الذي يمكنك بناؤه به
- تقديم نماذج LLM ونماذج اللغة والرؤية بإنتاجية عالية حيث تشترك كثير من الطلبات في بادئات موجّهات مشتركة
- تنفيذ برامج موجّهات معقدة (متعددة الأدوار ومتفرعة وذات استدعاءات متوازية) بلغة التوليد المنظمة DSL
- تشغيل فك التشفير المقيّد أو المنظم (مثل الإخراج الموجَّه بـ JSON schema) بكفاءة على نطاق واسع
الوسوم
servingthroughputvlm