مفتوح المصدراستدلال6k
LMDeploy
مجموعة أدوات لضغط النماذج اللغوية الكبيرة وخدمتها باستخدام محرك TurboMind.
LMDeploy هو مجموعة أدوات مفتوحة المصدر من فريق InternLM لضغط النماذج اللغوية الكبيرة ونماذج اللغة-الرؤية وتكميمها وخدمتها. يوفر محرك الاستنتاج عالي الأداء TurboMind معالجةً دفعيةً مستمرة وتخزينًا مؤقتًا لـ KV بالكتل وتكميمًا للأوزان وذاكرة التخزين المؤقت KV لإنتاجية عالية، ويشحن خادم متوافق مع OpenAI. يدعم مجموعة واسعة من عائلات النماذج ويُعدّ خيارًا شائعًا لخدمة النماذج اللغوية الكبيرة ذاتية الاستضافة بكفاءة.
المستودع
InternLM/lmdeployاللغة
Pythonما الذي يمكنك بناؤه به
- تكميم النماذج اللغوية الكبيرة (أوزان 4-بت فقط، تكميم ذاكرة التخزين المؤقت KV) وخدمتها بإنتاجية عالية
- استضافة نقطة نهاية متوافقة مع OpenAI مدعومة بمحرك TurboMind
- خدمة نماذج اللغة-الرؤية بكفاءة على إعداد ذي GPU واحد أو متعدد
الوسوم
servingquantizationthroughputvlm