Text Generation WebUI

L'interface Gradio couteau suisse pour exécuter et expérimenter avec des modèles de texte locaux.

Text Generation WebUI (oobabooga) est une interface web basée sur Gradio pour exécuter des grands modèles de langage en local, prenant en charge de nombreux backends dont llama.cpp, Transformers et ExLlamaV2. Elle propose des modes chat, notebook et instruct, le chargement de modèles et LoRA, le réglage des paramètres et une extension d'API compatible OpenAI. C'est un favori de longue date de la communauté pour l'expérimentation et le contrôle fin de l'inférence locale.