Código abiertoLocal44k
Text Generation WebUI
La UI navaja suiza basada en Gradio para ejecutar y experimentar con modelos de texto locales.
Text Generation WebUI (oobabooga) es una interfaz web basada en Gradio para ejecutar modelos de lenguaje grandes de forma local, compatible con múltiples backends como llama.cpp, Transformers y ExLlamaV2. Ofrece modos de chat, cuaderno e instrucción, carga de modelos y LoRA, ajuste de parámetros y una extensión de API compatible con OpenAI. Es un favorito de larga trayectoria en la comunidad para experimentación y control detallado de la inferencia local.
Repositorio
oobabooga/text-generation-webuiLenguaje
PythonLo que construirías con esto
- Experimentar con modelos cuantizados, samplers y LoRAs a través de una única UI configurable
- Cambiar entre múltiples backends de inferencia sin modificar el flujo de trabajo
- Servir modelos locales a otras apps mediante su extensión de API compatible con OpenAI
Etiquetas
uigradiobackendsexperimentation