Promptfoo

Testez, évaluez et red-teamez des applications LLM depuis la ligne de commande ou la CI.

Promptfoo est une CLI et bibliothèque open-source pour évaluer et red-teamer les applications LLM. Elle exécute des matrices de tests déclaratives sur des prompts, des modèles et des fournisseurs, score les résultats avec des assertions et des graders, et produit des vues de comparaison côte à côte. Elle inclut également un scan automatisé de vulnérabilités pour l'injection de prompts, les jailbreaks et d'autres risques de sécurité LLM, et s'intègre proprement dans la CI.