Promptfoo

LLM-Apps über die Kommandozeile oder CI testen, evaluieren und red-teamen.

Promptfoo ist ein Open-Source-CLI und eine Bibliothek zur Evaluierung und zum Red-Teaming von LLM-Anwendungen. Es führt deklarative Testmatrizen über Prompts, Modelle und Anbieter aus, bewertet Ergebnisse mit Assertions und Graders und erstellt Vergleichsansichten nebeneinander. Es umfasst zudem automatisiertes Vulnerability-Scanning auf Prompt Injection, Jailbreaks und andere LLM-Sicherheitsrisiken und lässt sich sauber in CI integrieren.