مفتوح المصدرتحليلات8k
Promptfoo
اختبر وقيّم وشنّ الاختبار الأحمر لتطبيقات LLM من سطر الأوامر أو CI.
Promptfoo أداة CLI ومكتبة مفتوحة المصدر لتقييم تطبيقات LLM واختبارها أحمراً. تُشغّل مصفوفات اختبار تصريحية عبر الموجّهات والنماذج ومزودي الخدمة، وتُقيّم النتائج بالتأكيدات والمصنّفات، وتنتج عروض مقارنة جنباً إلى جنب. تتضمن أيضاً فحصاً آلياً للثغرات الأمنية لحقن الموجّهات والاختراقات ومخاطر LLM الأمنية الأخرى، وتتكامل بسلاسة في CI.
المستودع
promptfoo/promptfooاللغة
TypeScriptما الذي يمكنك بناؤه به
- مقارنة الموجّهات والنماذج جنباً إلى جنب بمصفوفة تقييم مُعرَّفة بـ YAML
- إضافة اختبارات LLM قائمة على التأكيدات إلى CI لمنع انحدار الموجّهات
- اختبار تطبيق أحمراً لحقن الموجّهات والاختراقات قبل الإطلاق
الوسوم
evalsred-teamingllm-testingci