Open SourceAnalytics6k
Arize Phoenix
Open-Source-KI-Observability und Evaluation für LLM-Apps und Agenten.
Phoenix ist Arizes Open-Source-Observability-Tool für Experimente, Evaluation und Fehlersuche in KI- und LLM-Anwendungen. Auf OpenTelemetry und OpenInference aufgebaut, erfasst es Traces aus verbreiteten Frameworks, führt LLM-as-a-Judge-Evaluierungen durch und visualisiert Embeddings, um Drift und Cluster von Fehlern sichtbar zu machen. Es läuft lokal in einem Notebook, als Container oder selbst gehostet.
Repository
Arize-ai/phoenixSprache
PythonWas du damit bauen kannst
- LangChain-, LlamaIndex- oder direkte OpenAI-Aufrufe mit OpenTelemetry-Tracing instrumentieren
- Ausgaben mit integrierten LLM-as-a-Judge-Evals auf Halluzinationen und Relevanz bewerten
- Embeddings untersuchen, um Retrieval-Drift und Cluster problematischer Anfragen zu erkennen
Tags
llm-observabilityevalstracingopentelemetry