LiteLLM

Uniforme OpenAI-formaat SDK en proxy die naar 100+ providers routeert.

LiteLLM is een bibliotheek en proxyserver die een uniforme, OpenAI-compatibele interface biedt voor het aanroepen van 100+ LLM-providers waaronder OpenAI, Anthropic, Azure, Bedrock en lokale modellen. Het standaardiseert invoer-/uitvoerformaten en voegt functies toe zoals retries, fallbacks, load balancing, kostenbewaking en snelheidslimietering. Het wordt veel gebruikt als gateway om vendor-lock-in te vermijden en LLM-toegang te centraliseren.