Open SourceAnalytics6k
Arize Phoenix
Open-source AI-observability en evaluatie voor LLM-apps en agents.
Phoenix is Arize's open-source observability-tool voor experimenteren, evaluatie en probleemoplossing van AI- en LLM-applicaties. Gebouwd op OpenTelemetry en OpenInference legt het traces vast van populaire frameworks, voert LLM-as-a-judge-evaluaties uit en visualiseert embeddings om drift en clusters van fouten te detecteren. Het draait lokaal in een notebook, als container of zelfgehost.
Opslagplaats
Arize-ai/phoenixTaal
PythonWat je ermee zou bouwen
- Instrumenteer LangChain-, LlamaIndex- of ruwe OpenAI-aanroepen met OpenTelemetry-tracing
- Scoor outputs met ingebouwde LLM-as-a-judge-evaluaties voor hallucinatie en relevantie
- Verken embeddings om retrieval-drift en clusters van problematische queries te detecteren
Tags
llm-observabilityevalstracingopentelemetry