OpenLLM

Kjør enhver åpen LLM som et OpenAI-kompatibelt API-endepunkt, uansett hvor.

OpenLLM, fra BentoML-teamet, lar deg kjøre åpen kildekode- og finjusterte LLM-er som OpenAI-kompatible API-endepunkter med én enkelt kommando. Det støtter populære modeller fra bunnen av, optimaliserte inferensbakends som vLLM, et innebygd chat-UI og ett-klikks-distribusjon til Docker, Kubernetes eller BentoCloud. Det er utformet for å gjøre selvhosting av produksjons-LLM-APIer enkelt og portabelt.