LiteLLM

100'den fazla sağlayıcıya yönlendiren birleşik OpenAI formatlı SDK ve proxy.

LiteLLM, OpenAI, Anthropic, Azure, Bedrock ve yerel modeller dahil 100'den fazla LLM sağlayıcısını çağırmak için birleşik, OpenAI uyumlu bir arayüz sunan bir kütüphane ve proxy sunucusudur. Girdi/çıktı formatlarını standartlaştırır; yeniden denemeler, yedekler, yük dengeleme, maliyet takibi ve hız sınırlama gibi özellikler ekler. Sağlayıcı bağımlılığından kaçınmak ve LLM erişimini merkezileştirmek için yaygın olarak bir ağ geçidi olarak kullanılmaktadır.