DeepEval

Das Open-Source-LLM-Evaluierungs-Framework, wie Pytest für LLMs.

DeepEval ist ein Open-Source-Evaluierungs-Framework von Confident AI, mit dem Entwickler LLM-Ausgaben so unit-testen können, wie Pytest Code testet. Es liefert forschungsgestützte Metriken, darunter G-Eval, Halluzination, Answer Relevancy, Faithfulness und RAG-spezifische Scores, und unterstützt Benchmarks, Red-Teaming und komponentenbasiertes Testen. Es läuft lokal und lässt sich in CI-Pipelines einbinden, um Regressionen vor dem Deployment zu erkennen.