Promptfoo

Testa, utvärdera och red-teama LLM-appar från kommandoraden eller CI.

Promptfoo är en CLI och ett bibliotek med öppen källkod för att utvärdera och red-teama LLM-applikationer. Det kör deklarativa testmatriser över promptar, modeller och leverantörer, betygsätter resultat med påståenden och granskare, och producerar jämförelsevyer sida vid sida. Det inkluderar även automatiserad sårbarhetsskanning för promptinjektion, jailbreaks och andra LLM-säkerhetsrisker och integrerar smidigt i CI.