Open SourceLokal44k
Text Generation WebUI
Das "Gradio"-Schweizer-Taschenmesser-UI zum Ausführen und Ausprobieren lokaler Textmodelle.
Text Generation WebUI (oobabooga) ist eine Gradio-basierte Web-Oberfläche zum lokalen Betrieb großer Sprachmodelle, die viele Backends wie llama.cpp, Transformers und ExLlamaV2 unterstützt. Es bietet Chat-, Notizbuch- und Instruct-Modi, Modell- und LoRA-Laden, Parameter-Tuning sowie eine OpenAI-kompatible API-Erweiterung. Es ist seit Langem ein Community-Favorit für Experimente und detaillierte Kontrolle über lokale Inferenz.
Repository
oobabooga/text-generation-webuiSprache
PythonWas du damit bauen kannst
- Mit quantisierten Modellen, Samplern und LoRAs über eine einzelne konfigurierbare UI experimentieren
- Zwischen mehreren Inferenz-Backends wechseln, ohne den Workflow zu ändern
- Lokale Modelle über die OpenAI-kompatible API-Erweiterung anderen Apps bereitstellen
Tags
uigradiobackendsexperimentation