Åpen kildekodeLokal8k
KoboldCpp
En enkeltfils, llama.cpp-basert kjører med innebygd UI og bildegenerering.
KoboldCpp er en enkel-å-distribuere, enkelt-kjørbar inferenskjører bygget på llama.cpp som legger til et innebygd web-UI, vedvarende chat og støtte for bildegenerering og talemodeller. Den kjører GGUF-modeller på CPU og mange GPU-bakends uten installasjon, noe som gjør den populær for lokal chat, historiefortelling og rollespill. Den eksponerer også en KoboldAI- og OpenAI-kompatibel API for integrasjon.
Kodelager
LostRuins/koboldcppSpråk
C++Det du kan bygge med den
- Kjøring av lokale GGUF-modeller fra én enkelt portabel binærfil uten installasjon
- Selvhosting av et chat- eller historieforteller-UI med vedvarende kontekst på beskjeden maskinvare
- Kombinering av tekst-, bilde- og talegenerering bak ett lokalt API-endepunkt
Tagger
single-binaryggufuiself-hosted