LiteLLM

SDK et proxy unifiés au format OpenAI routant vers 100+ fournisseurs.

LiteLLM est une bibliothèque et un serveur proxy qui fournit une interface unifiée compatible OpenAI pour appeler 100+ fournisseurs LLM dont OpenAI, Anthropic, Azure, Bedrock et des modèles locaux. Il standardise les formats d'entrée/sortie et ajoute des fonctionnalités telles que les retries, les fallbacks, l'équilibrage de charge, le suivi des coûts et la limitation du débit. Il est couramment utilisé comme passerelle pour éviter le vendor lock-in et centraliser l'accès aux LLMs.