Open SourceLocale8k
KoboldCpp
Un runner single-file basato su llama.cpp con UI integrata e generazione di immagini.
KoboldCpp è un runner di inferenza facile da distribuire, in un unico eseguibile, basato su llama.cpp, che aggiunge una web UI integrata, chat persistente e supporto per modelli di generazione di immagini e speech. Esegue modelli GGUF su CPU e numerosi backend GPU senza installazione, ed è popolare per chat locale, storytelling e roleplay. Espone anche un'API compatibile con KoboldAI e OpenAI per l'integrazione.
Repository
LostRuins/koboldcppLinguaggio
C++Cosa ci costruiresti
- Esecuzione di modelli GGUF locali da un singolo binario portabile senza alcuna installazione
- Self-hosting di una UI per chat o storytelling con contesto persistente su hardware modesto
- Combinazione di generazione di testo, immagini e speech dietro un unico endpoint API locale
Tag
single-binaryggufuiself-hosted