Open SourceFramework20k
LiteLLM
SDK e proxy unificato in formato OpenAI che instrada verso 100+ provider.
LiteLLM è una libreria e un proxy server che fornisce un'interfaccia unificata e compatibile con OpenAI per chiamare 100+ provider LLM inclusi OpenAI, Anthropic, Azure, Bedrock e modelli locali. Standardizza i formati di input/output e aggiunge funzionalità come retry, fallback, load balancing, tracciamento dei costi e rate limiting. È comunemente usato come gateway per evitare il vendor lock-in e centralizzare l'accesso agli LLM.
Repository
BerriAI/litellmLinguaggio
PythonCosa ci costruiresti
- Chiamare molti provider LLM tramite un'unica API compatibile con OpenAI
- Eseguire un proxy gateway con budget, gestione delle chiavi e tracciamento dei costi
- Aggiungere fallback tra provider e load balancing tra modelli
Tag
gatewayproxyrouting