Ray Serve / Ray

إطار موزَّع لتوسيع نطاق خدمة النماذج وأعباء عمل الذكاء الاصطناعي.

Ray هو إطار مفتوح المصدر لتوسيع نطاق تطبيقات Python والذكاء الاصطناعي، وتوفّر مكتبة Ray Serve طبقةً قابلةً للتوسع ومستقلةً عن الأطر لخدمة النماذج. يدعم Ray Serve تركيب عدة نماذج في رسوم بيانية للنشر، والتوسع التلقائي، وتخصيص أجزاء من GPU، والمعالجة الدفعية، ويتضمن خدمة مخصصة للنماذج اللغوية الكبيرة مع API متوافق مع OpenAI يعمل بمحركات مثل vLLM. يُستخدم على نطاق واسع لخدمة الاستنتاج وتنسيقه على نطاق واسع عبر المجموعات.