OpenLLM

Herhangi bir açık LLM'i, her yerde OpenAI uyumlu API endpoint'i olarak çalıştırın.

BentoML ekibinin geliştirdiği OpenLLM, açık kaynaklı ve ince ayarlı LLM'leri tek bir komutla OpenAI uyumlu API endpoint'leri olarak çalıştırmanıza olanak tanır. Popüler modelleri kutudan çıkar çıkmaz destekler; vLLM gibi optimize edilmiş çıkarım arka uçları, yerleşik sohbet UI'ı ve Docker, Kubernetes veya BentoCloud'a tek tıkla deployment sunar. Üretim ortamında kendi kendine barındırılan LLM API'lerini basit ve taşınabilir kılmak üzere tasarlanmıştır.