Åpen kildekodeLokal44k
Text Generation WebUI
Den "Gradio" sveitsiske allroundverktøy-UI for kjøring og eksperimentering med lokale tekstmodeller.
Text Generation WebUI (oobabooga) er et Gradio-basert webgrensesnitt for lokal kjøring av store språkmodeller, med støtte for mange bakends inkludert llama.cpp, Transformers og ExLlamaV2. Det tilbyr chat-, notatbok- og instruksjonsmodus, modell- og LoRA-lasting, parametertuning og en OpenAI-kompatibel API-utvidelse. Det er en langvarig fellesskapsfavoritt for eksperimentering og finkornet kontroll over lokal inferens.
Kodelager
oobabooga/text-generation-webuiSpråk
PythonDet du kan bygge med den
- Eksperimentering med kvanterte modeller, samplers og LoRA-er gjennom ett konfigurerbart UI
- Bytte mellom flere inferensbakends uten å endre arbeidsflyten
- Serving av lokale modeller til andre apper via OpenAI-kompatibel API-utvidelse
Tagger
uigradiobackendsexperimentation