Código abiertoFramework20k
LiteLLM
SDK y proxy unificado en formato OpenAI que enruta a más de 100 proveedores.
LiteLLM es una biblioteca y servidor proxy que proporciona una interfaz unificada compatible con OpenAI para llamar a más de 100 proveedores de LLM, incluyendo OpenAI, Anthropic, Azure, Bedrock y modelos locales. Estandariza los formatos de entrada y salida y añade funcionalidades como reintentos, fallbacks, balanceo de carga, seguimiento de costes y limitación de tasas. Se usa habitualmente como pasarela para evitar la dependencia de un proveedor y centralizar el acceso a LLM.
Repositorio
BerriAI/litellmLenguaje
PythonLo que construirías con esto
- Llamar a múltiples proveedores de LLM a través de una única API compatible con OpenAI
- Ejecutar una pasarela proxy con presupuestos, gestión de claves y seguimiento de costes
- Añadir fallbacks de proveedor y balanceo de carga entre modelos
Etiquetas
gatewayproxyrouting