Ray Serve / Ray

Distribuert rammeverk for skalering av modellserving og AI-arbeidslaster.

Ray er et åpen kildekode-rammeverk for skalering av Python- og AI-applikasjoner, og Ray Serve-biblioteket tilbyr et skalerbart, rammeverks-agnostisk lag for modellserving. Ray Serve støtter sammensetning av flere modeller i deployment-grafer, autoskalering, fraksjonell GPU-tildeling og batching, og inkluderer LLM-spesifikk serving med en OpenAI-kompatibel API støttet av motorer som vLLM. Det er mye brukt til å serve og orkestrere inferens i stor skala på tvers av klynger.