OpenLLM

تشغيل أي نموذج لغوي مفتوح كنقطة نهاية API متوافقة مع OpenAI، في أي مكان.

OpenLLM، من فريق BentoML، يتيح لك تشغيل النماذج اللغوية الكبيرة مفتوحة المصدر والمضبوطة دقيقًا كنقاط نهاية API متوافقة مع OpenAI بأمر واحد. يدعم النماذج الشائعة مباشرةً، وخلفيات استنتاج محسّنة مثل vLLM، وواجهة دردشة مدمجة، ونشرًا بنقرة واحدة إلى Docker أو Kubernetes أو BentoCloud. صُمّم لجعل نشر API للنماذج اللغوية الكبيرة ذاتي الاستضافة في بيئة الإنتاج أمرًا بسيطًا وقابلًا للنقل.