LiteLLM

Enhetligt OpenAI-format SDK och proxy som dirigerar till 100+ leverantörer.

LiteLLM är ett bibliotek och en proxyserver som tillhandahåller ett enhetligt, OpenAI-kompatibelt gränssnitt för att anropa 100+ LLM-leverantörer inklusive OpenAI, Anthropic, Azure, Bedrock och lokala modeller. Det standardiserar in/ut-format och lägger till funktioner som återförsök, fallbacks, lastbalansering, kostnadsspårning och hastighetsbegränsning. Det används ofta som en gateway för att undvika leverantörsinlåsning och centralisera LLM-åtkomst.