KoboldCpp

Ein Einzeldatei-Runner auf llama.cpp-Basis mit eingebauter UI und Bildgenerierung.

KoboldCpp ist ein einfach zu deployender, in einer einzelnen ausführbaren Datei enthaltener Inferenz-Runner, aufgebaut auf llama.cpp, der eine eingebaute Web-UI, persistentes Chat und Unterstützung für Bildgenerierungs- und Sprachmodelle hinzufügt. Es betreibt GGUF-Modelle über CPU und viele GPU-Backends ohne Installation und ist für lokales Chatten, Storytelling und Roleplay-Anwendungsfälle beliebt. Es stellt außerdem eine KoboldAI- und OpenAI-kompatible API für die Integration bereit.