Promptfoo

Komut satırından veya CI'dan LLM uygulamalarını test etme, değerlendirme ve kırmızı takım testi yapma.

Promptfoo, LLM uygulamalarını değerlendirme ve kırmızı takım testi yapmak için açık kaynaklı bir CLI ve kütüphanedir. İstemler, modeller ve sağlayıcılar genelinde bildirimsel test matrislerini çalıştırır, sonuçları doğrulama ve derecelendirme araçlarıyla puanlar ve yan yana karşılaştırma görünümleri üretir. Ayrıca istem enjeksiyonu, jailbreak ve diğer LLM güvenlik riskleri için otomatik güvenlik açığı taraması içerir ve CI'a temiz biçimde entegre olur.