Código abiertoAnalytics8k
Promptfoo
Prueba, evalúa y haz red-teaming de aplicaciones LLM desde la línea de comandos o en CI.
Promptfoo es un CLI y biblioteca open-source para evaluar y hacer red-teaming de aplicaciones LLM. Ejecuta matrices de prueba declarativas sobre prompts, modelos y proveedores, puntúa los resultados con aserciones y evaluadores, y genera vistas de comparación en paralelo. También incluye análisis automatizado de vulnerabilidades para inyección de prompts, jailbreaks y otros riesgos de seguridad en LLMs, y se integra fácilmente en CI.
Repositorio
promptfoo/promptfooLenguaje
TypeScriptLo que construirías con esto
- Comparar prompts y modelos en paralelo con una matriz de evaluación definida en YAML
- Añadir pruebas LLM basadas en aserciones a CI para prevenir regresiones de prompts
- Hacer red-teaming de una aplicación para inyección de prompts y jailbreaks antes del lanzamiento
Etiquetas
evalsred-teamingllm-testingci