مفتوح المصدراستدلال11k
OpenLLM
تشغيل أي نموذج لغوي مفتوح كنقطة نهاية API متوافقة مع OpenAI، في أي مكان.
OpenLLM، من فريق BentoML، يتيح لك تشغيل النماذج اللغوية الكبيرة مفتوحة المصدر والمضبوطة دقيقًا كنقاط نهاية API متوافقة مع OpenAI بأمر واحد. يدعم النماذج الشائعة مباشرةً، وخلفيات استنتاج محسّنة مثل vLLM، وواجهة دردشة مدمجة، ونشرًا بنقرة واحدة إلى Docker أو Kubernetes أو BentoCloud. صُمّم لجعل نشر API للنماذج اللغوية الكبيرة ذاتي الاستضافة في بيئة الإنتاج أمرًا بسيطًا وقابلًا للنقل.
المستودع
bentoml/OpenLLMاللغة
Pythonما الذي يمكنك بناؤه به
- تشغيل نقطة نهاية متوافقة مع OpenAI لأي نموذج مفتوح مدعوم بأمر واحد
- تغليف خدمة نموذج لغوي كبير في Bento لنشر قابل للتكرار عبر Docker/Kubernetes
- خدمة النماذج المضبوطة دقيقًا مع استنتاج مدعوم بـ vLLM وواجهة دردشة مدمجة
الوسوم
servingopenai-compatibledeploymentself-hosted