Open SourceLocale44k
Text Generation WebUI
La UI Gradio tuttofare per eseguire e sperimentare con modelli di testo locali.
Text Generation WebUI (oobabooga) è un'interfaccia web basata su Gradio per eseguire modelli linguistici di grandi dimensioni in locale, con supporto per numerosi backend tra cui llama.cpp, Transformers ed ExLlamaV2. Offre modalità chat, notebook e instruct, caricamento di modelli e LoRA, regolazione dei parametri e un'estensione API compatibile con OpenAI. È da lungo tempo uno strumento preferito dalla community per la sperimentazione e il controllo fine-grained sull'inferenza locale.
Repository
oobabooga/text-generation-webuiLinguaggio
PythonCosa ci costruiresti
- Sperimentazione con modelli quantizzati, sampler e LoRA tramite un'unica UI configurabile
- Cambio tra più backend di inferenza senza modificare il workflow
- Serving di modelli locali ad altre app tramite la sua estensione API compatibile con OpenAI
Tag
uigradiobackendsexperimentation