Alle Open Source
Open SourceAnalytics6k

Arize Phoenix

Open-Source-KI-Observability und Evaluation für LLM-Apps und Agenten.

Phoenix ist Arizes Open-Source-Observability-Tool für Experimente, Evaluation und Fehlersuche in KI- und LLM-Anwendungen. Auf OpenTelemetry und OpenInference aufgebaut, erfasst es Traces aus verbreiteten Frameworks, führt LLM-as-a-Judge-Evaluierungen durch und visualisiert Embeddings, um Drift und Cluster von Fehlern sichtbar zu machen. Es läuft lokal in einem Notebook, als Container oder selbst gehostet.

Repository

Arize-ai/phoenix

Sprache

Python

Was du damit bauen kannst

  • LangChain-, LlamaIndex- oder direkte OpenAI-Aufrufe mit OpenTelemetry-Tracing instrumentieren
  • Ausgaben mit integrierten LLM-as-a-Judge-Evals auf Halluzinationen und Relevanz bewerten
  • Embeddings untersuchen, um Retrieval-Drift und Cluster problematischer Anfragen zu erkennen

Tags

llm-observabilityevalstracingopentelemetry