Open SourceAnalytics16k
Langfuse
Plateforme open-source d'ingénierie LLM pour le tracing, les évaluations et la gestion des prompts.
Langfuse est une plateforme open-source d'observabilité et d'analytique spécialement conçue pour les applications LLM. Elle capture des traces imbriquées des exécutions d'agents et de chaînes, suit l'utilisation des tokens et les coûts, et propose des outils d'évaluation, de gestion des prompts et de datasets. Elle s'intègre avec l'OpenAI SDK, LangChain, LlamaIndex et OpenTelemetry, et peut être auto-hébergée avec Postgres et ClickHouse.
Dépôt
langfuse/langfuseLangage
TypeScriptCe que vous pourriez construire avec
- Tracer des pipelines d'agents et de RAG multi-étapes pour déboguer la latence, les coûts et les sorties incorrectes
- Exécuter des évaluations LLM hors ligne et en ligne sur des datasets curés pour détecter les régressions
- Versionner et A/B tester les prompts depuis une interface centralisée sans redéployer l'application
Tags
llm-observabilitytracingevalsself-hosted