OpenLLM

Kör vilken öppen LLM som helst som en OpenAI-kompatibel API-endpoint, var som helst.

OpenLLM, från BentoML-teamet, låter dig köra open source- och finjusterade LLMs som OpenAI-kompatibla API-endpoints med ett enda kommando. Det stödjer populära modeller direkt ur lådan, optimerade inferensbakgrunder som vLLM, ett inbyggt chatt-UI och driftsättning med ett klick till Docker, Kubernetes eller BentoCloud. Det är utformat för att göra självhostad produktion av LLM-APIs enkel och portabel.