KoboldCpp

Un runner mono-fichier basé sur llama.cpp avec interface intégrée et génération d'images.

KoboldCpp est un runner d'inférence mono-exécutable facile à déployer, construit sur llama.cpp, qui ajoute une interface web intégrée, un chat persistant et la prise en charge de modèles de génération d'images et de parole. Il exécute des modèles GGUF sur CPU et de nombreux backends GPU sans installation, ce qui le rend populaire pour le chat local, la narration et les jeux de rôle. Il expose également une API compatible KoboldAI et OpenAI pour l'intégration.