Promptfoo

Test, evalueer en red-team LLM-apps vanuit de command line of CI.

Promptfoo is een open-source CLI en library voor het evalueren en red-teamen van LLM-applicaties. Het draait declaratieve testmatrices over prompts, modellen en providers, scoort resultaten met assertions en graders, en produceert vergelijkende weergaven naast elkaar. Het bevat ook geautomatiseerde kwetsbaarheidsscanning op prompt injection, jailbreaks en andere LLM-beveiligingsrisico's, en integreert naadloos in CI.