Open SourceAnalytics6k
Arize Phoenix
Osservabilità e valutazione AI open-source per app LLM e agenti.
Phoenix è il tool di osservabilità open-source di Arize per la sperimentazione, la valutazione e il troubleshooting di applicazioni AI e LLM. Costruito su OpenTelemetry e OpenInference, cattura trace dai framework più diffusi, esegue valutazioni LLM-as-a-judge e visualizza gli embedding per rilevare drift e cluster di errori. Può girare in locale in un notebook, come container o in modalità self-hosted.
Repository
Arize-ai/phoenixLinguaggio
PythonCosa ci costruiresti
- Strumentare LangChain, LlamaIndex o chiamate OpenAI dirette con il tracing OpenTelemetry
- Valutare gli output con metriche LLM-as-a-judge integrate per allucinazioni e rilevanza
- Esplorare gli embedding per rilevare retrieval drift e cluster di query problematiche
Tag
llm-observabilityevalstracingopentelemetry