OpenLLM

Ejecuta cualquier LLM abierto como endpoint de API compatible con OpenAI, en cualquier lugar.

OpenLLM, del equipo BentoML, te permite ejecutar LLMs de código abierto y ajustados como endpoints de API compatibles con OpenAI con un solo comando. Soporta modelos populares de fábrica, backends de inferencia optimizados como vLLM, una UI de chat integrada y despliegue con un clic en Docker, Kubernetes o BentoCloud. Está diseñado para simplificar y hacer portátil el auto-alojamiento de APIs LLM en producción.