Text Generation WebUI

Det schweiziska arméknivs-UI för att köra och experimentera med lokala textmodeller.

Text Generation WebUI (oobabooga) är ett Gradio-baserat webbgränssnitt för att köra stora språkmodeller lokalt, med stöd för många bakgrunder inklusive llama.cpp, Transformers och ExLlamaV2. Det erbjuder chatt-, anteckningsbok- och instruktionslägen, modell- och LoRA-laddning, parameterinställning och ett OpenAI-kompatibelt API-tillägg. Det är ett långvarigt favoritverktyg i communityn för experimenterande och finkornad kontroll över lokal inferens.