LiteLLM

Enhetlig OpenAI-format SDK og proxy som ruter til 100+ leverandører.

LiteLLM er et bibliotek og en proxyserver som tilbyr et enhetlig, OpenAI-kompatibelt grensesnitt for å kalle 100+ LLM-leverandører inkludert OpenAI, Anthropic, Azure, Bedrock og lokale modeller. Det standardiserer inn-/utdataformater og legger til funksjoner som nye forsøk, fallbacks, lastbalansering, kostnadssporing og hastighetsbegrensning. Det brukes ofte som en gateway for å unngå leverandørinnlåsing og sentralisere LLM-tilgang.