OpenLLM

Exécutez n'importe quel LLM open source comme endpoint d'API compatible OpenAI, partout.

OpenLLM, développé par l'équipe BentoML, permet d'exécuter des LLM open source et fine-tunés en tant qu'endpoints d'API compatibles OpenAI avec une seule commande. Il prend en charge les modèles populaires nativement, des backends d'inférence optimisés comme vLLM, une interface de chat intégrée, et un déploiement en un clic vers Docker, Kubernetes ou BentoCloud. Il est conçu pour rendre le self-hosting d'API LLM de production simple et portable.