Open SourceAnalytics8k
Promptfoo
Testa, valuta e fai red-team delle app LLM dalla command line o in CI.
Promptfoo è un CLI e una libreria open-source per valutare e fare red-team di applicazioni LLM. Esegue matrici di test dichiarative su prompt, modelli e provider, valuta i risultati con asserzioni e grader, e produce viste di confronto affiancate. Include anche una scansione automatica delle vulnerabilità per prompt injection, jailbreak e altri rischi di sicurezza LLM, integrandosi facilmente in CI.
Repository
promptfoo/promptfooLinguaggio
TypeScriptCosa ci costruiresti
- Confrontare prompt e modelli affiancati con una matrice di valutazione definita in YAML
- Aggiungere test LLM basati su asserzioni in CI per prevenire regressioni nei prompt
- Fare red-team di un'app per prompt injection e jailbreak prima del lancio
Tag
evalsred-teamingllm-testingci