Promptfoo

Test, evaluer og rødteam LLM-apper fra kommandolinjen eller CI.

Promptfoo er en åpen kildekode CLI og et bibliotek for evaluering og rødteaming av LLM-applikasjoner. Det kjører deklarative testmatriser på tvers av prompt-er, modeller og leverandører, skårer resultater med påstander og vurderere, og produserer side-om-side-sammenligningsvisninger. Det inkluderer også automatisert sårbarhetsskanning for prompt-injeksjon, jailbreaks og andre LLM-sikkerhetsrisikoer, og integreres godt i CI.