Open SourceAnalytics6k
Arize Phoenix
Observabilité et évaluation open-source de l'IA pour les applications LLM et les agents.
Phoenix est l'outil d'observabilité open-source d'Arize pour l'expérimentation, l'évaluation et le débogage des applications IA et LLM. Construit sur OpenTelemetry et OpenInference, il capture des traces depuis les frameworks populaires, exécute des évaluations LLM-as-a-judge et visualise les embeddings pour détecter la dérive et les clusters d'échecs. Il peut être exécuté localement dans un notebook, en tant que conteneur, ou auto-hébergé.
Dépôt
Arize-ai/phoenixLangage
PythonCe que vous pourriez construire avec
- Instrumenter des appels LangChain, LlamaIndex ou OpenAI bruts avec le tracing OpenTelemetry
- Scorer les sorties avec des évaluations LLM-as-a-judge intégrées pour les hallucinations et la pertinence
- Explorer les embeddings pour détecter la dérive du retrieval et les clusters de requêtes problématiques
Tags
llm-observabilityevalstracingopentelemetry