OpenLLM

Draai elk open LLM als een OpenAI-compatibel API-endpoint, waar dan ook.

OpenLLM, van het BentoML-team, stelt je in staat om open-source en fine-tuned LLM's als OpenAI-compatibele API-endpoints te draaien met één commando. Het ondersteunt populaire modellen out of the box, geoptimaliseerde inferentie-backends zoals vLLM, een ingebouwde chat-UI en één-klik-deployment naar Docker, Kubernetes of BentoCloud. Het is ontworpen om self-hosting van productie-LLM-API's eenvoudig en draagbaar te maken.