KoboldCpp

Yerleşik UI ve görüntü üretimi olan tek dosya, llama.cpp tabanlı çalıştırıcı.

KoboldCpp, yerleşik web UI, kalıcı sohbet ve görüntü üretimi ile konuşma modeli desteği ekleyen llama.cpp üzerine inşa edilmiş, kolayca deploy edilebilen tek yürütülebilir dosya çıkarım çalıştırıcısıdır. Kurulum gerektirmeden GGUF modellerini CPU ve pek çok GPU arka ucunda çalıştırır; yerel sohbet, hikâye anlatımı ve rol yapma kullanım senaryoları için popülerdir. Entegrasyon için KoboldAI ve OpenAI uyumlu API de sunar.