Text Generation WebUI

De "Gradio" Zwitsers zakmes-UI voor het draaien van en experimenteren met lokale tekstmodellen.

Text Generation WebUI (oobabooga) is een op Gradio gebaseerde webinterface voor het lokaal draaien van grote taalmodellen, met ondersteuning voor meerdere backends waaronder llama.cpp, Transformers en ExLlamaV2. Het biedt chat-, notebook- en instructmodi, het laden van modellen en LoRA's, het afstellen van parameters en een OpenAI-compatibele API-extensie. Het is een langdurige communityfavoriet voor experimenteren en fijnmazige controle over lokale inferentie.