Ray Serve / Ray

Verteiltes Framework zur Skalierung von Model-Serving und KI-Workloads.

Ray ist ein Open-Source-Framework zur Skalierung von Python- und KI-Anwendungen. Die Bibliothek Ray Serve bietet eine skalierbare, framework-agnostische Schicht für das Model-Serving. Ray Serve unterstützt das Komposieren mehrerer Modelle zu Deployment-Graphen, Autoscaling, fraktionale GPU-Zuweisung und Batching; hinzu kommt LLM-spezifisches Serving mit einer OpenAI-kompatiblen API, die von Engines wie vLLM gestützt wird. Es wird häufig genutzt, um Inferenz im Clustermaßstab zu bedienen und zu orchestrieren.