OpenLLM

Esegui qualsiasi LLM open come endpoint API compatibile con OpenAI, ovunque.

OpenLLM, del team BentoML, consente di eseguire LLM open-source e fine-tuned come endpoint API compatibili con OpenAI con un singolo comando. Supporta modelli popolari out of the box, backend di inferenza ottimizzati come vLLM, una chat UI integrata e il deployment con un clic su Docker, Kubernetes o BentoCloud. È pensato per rendere semplice e portabile il self-hosting di API LLM in produzione.