LiteLLM

Einheitliches OpenAI-Format-SDK und Proxy, der zu 100+ Anbietern routet.

LiteLLM ist eine Bibliothek und ein Proxy-Server, der eine einheitliche, OpenAI-kompatible Schnittstelle für den Aufruf von 100+ LLM-Anbietern bereitstellt, darunter OpenAI, Anthropic, Azure, Bedrock und lokale Modelle. Er standardisiert Eingabe-/Ausgabeformate und fügt Features wie Wiederholungsversuche, Fallbacks, Load Balancing, Kostenverfolgung und Rate Limiting hinzu. Er wird häufig als Gateway eingesetzt, um Vendor-Lock-in zu vermeiden und den LLM-Zugang zu zentralisieren.