Ray Serve / Ray

Framework distribué pour le passage à l'échelle du serving de modèles et des charges de travail IA.

Ray est un framework open source pour faire passer à l'échelle les applications Python et IA. Sa bibliothèque Ray Serve fournit une couche de serving de modèles scalable et agnostique au framework. Ray Serve prend en charge la composition de plusieurs modèles en graphes de déploiement, l'autoscaling, l'allocation fractionnée de GPU et le batching, avec un serving LLM dédié via une API compatible OpenAI propulsée par des moteurs comme vLLM. Il est largement utilisé pour servir et orchestrer l'inférence à grande échelle sur des clusters.