مفتوح المصدرإطار عمل20k
LiteLLM
SDK وبروكسي موحّد بصيغة OpenAI يوجّه الطلبات إلى أكثر من 100 مزوّد.
LiteLLM مكتبة وخادم بروكسي يوفران واجهة موحدة متوافقة مع OpenAI لاستدعاء أكثر من 100 مزوّد LLM بما فيهم OpenAI و Anthropic و Azure و Bedrock والنماذج المحلية. يوحّد صيغ الإدخال والإخراج ويضيف ميزات كإعادة المحاولة والاحتياط وموازنة الأحمال وتتبع التكاليف وحد المعدل. يُستخدم عادةً كبوابة لتجنب الارتباط بمزوّد واحد وتمركز وصول LLM.
المستودع
BerriAI/litellmاللغة
Pythonما الذي يمكنك بناؤه به
- استدعاء مزودي LLM كثيرين عبر API واحدة متوافقة مع OpenAI
- تشغيل بوابة بروكسي مع ميزانيات وإدارة مفاتيح وتتبع تكاليف
- إضافة احتياط للمزوّدين وموازنة الأحمال عبر النماذج
الوسوم
gatewayproxyrouting