KoboldCpp

En enfils-llama.cpp-baserad körare med inbyggt UI och bildgenerering.

KoboldCpp är en lättdriftsatt, enfilsbaserad inferenskörare byggd på llama.cpp som lägger till ett inbyggt webbgränssnitt, persistent chatt och stöd för bildgenerering och talmodeller. Den kör GGUF-modeller över CPU och många GPU-bakgrunder utan installation, vilket gör den populär för lokal chatt, berättande och rollspel. Den exponerar även ett KoboldAI- och OpenAI-kompatibelt API för integration.