OpenLLM

Jeden offenen LLM als OpenAI-kompatiblen API-Endpunkt betreiben, überall.

OpenLLM vom BentoML-Team ermöglicht es, Open-Source- und fein abgestimmte LLMs mit einem einzigen Befehl als OpenAI-kompatible API-Endpunkte zu betreiben. Es unterstützt gängige Modelle direkt, optimierte Inferenz-Backends wie vLLM, eine eingebaute Chat-UI und Einzel-Klick-Deployment zu Docker, Kubernetes oder BentoCloud. Es ist darauf ausgelegt, das selbst gehostete Betreiben von Produktions-LLM-APIs einfach und portabel zu gestalten.