KoboldCpp

Een single-file, llama.cpp-gebaseerde runner met een ingebouwde UI en beeldgeneratie.

KoboldCpp is een eenvoudig te deployen, single-executable inferentierunner gebouwd op llama.cpp, met een ingebouwde web-UI, persistente chat en ondersteuning voor beeldgeneratie en spraakmodellen. Het draait GGUF-modellen op CPU en veel GPU-backends zonder installatie, waardoor het populair is voor lokale chat-, verhalenvertelling- en rollenspelgebruikssituaties. Het biedt ook een KoboldAI- en OpenAI-compatibele API voor integratie.