Código abiertoLocal8k
KoboldCpp
Un ejecutor de un solo archivo basado en llama.cpp con UI integrada y generación de imágenes.
KoboldCpp es un ejecutor de inferencia de un solo ejecutable, fácil de desplegar, construido sobre llama.cpp que añade una UI web integrada, chat persistente y soporte para modelos de generación de imágenes y voz. Ejecuta modelos GGUF en CPU y múltiples backends GPU sin instalación, lo que lo hace popular para chat local, narrativa e interpretación de roles. También expone una API compatible con KoboldAI y OpenAI para integración.
Repositorio
LostRuins/koboldcppLenguaje
C++Lo que construirías con esto
- Ejecutar modelos GGUF locales desde un único binario portable sin instalación
- Auto-alojar una UI de chat o narrativa con contexto persistente en hardware modesto
- Combinar generación de texto, imágenes y voz detrás de un único endpoint de API local
Etiquetas
single-binaryggufuiself-hosted