Ray Serve / Ray

Model sunumu ve AI iş yüklerini ölçeklendirmek için dağıtık framework.

Ray, Python ve AI uygulamalarını ölçeklendirmeye yönelik açık kaynaklı bir framework olup Ray Serve kütüphanesi, ölçeklenebilir ve framework bağımsız bir model sunum katmanı sunar. Ray Serve; birden fazla modeli deployment grafları halinde birleştirmeyi, otomatik ölçeklendirmeyi, kesirli GPU tahsisini ve toplu işlemeyi destekler; ayrıca vLLM gibi motorlar tarafından desteklenen OpenAI uyumlu bir API ile LLM'e özgü sunum imkânı sağlar. Kümeler genelinde çıkarımı ölçekli biçimde sunmak ve orkestre etmek için yaygın olarak kullanılır.