مفتوح المصدراستدلال1k
Aphrodite Engine
محرك استنتاج عالي الإنتاجية للنماذج اللغوية الكبيرة يدعم الخدمة على نطاق واسع.
Aphrodite Engine هو خلفية استنتاج مفتوحة المصدر طوّرتها PygmalionAI لخدمة النماذج اللغوية الكبيرة على نطاق واسع. مبني على نواة vLLM مع PagedAttention والمعالجة الدفعية المستمرة، يضيف دعمًا واسعًا للتكميم وطرق أخذ عينات متعددة وفك التشفير التخميني، مع عرض API متوافق مع OpenAI. صُمّم لتعظيم الإنتاجية عند خدمة مستخدمين متزامنين كثيرين من نقطة نهاية واحدة.
المستودع
aphrodite-engine/aphrodite-engineاللغة
Pythonما الذي يمكنك بناؤه به
- خدمة نموذج لغوي كبير لمستخدمين متزامنين كثيرين بإنتاجية عالية ومعالجة دفعية مستمرة
- تشغيل نماذج مُكمَّمة بدرجة عالية مع مجموعة واسعة من تنسيقات التكميم
- عرض أخذ عينات غني وفك تشفير تخميني من خلال API متوافق مع OpenAI
الوسوم
servingthroughputquantizationopenai-compatible