All åpen kildekode
Åpen kildekodeAnalytics6k

OpenLLMetry

OpenTelemetry-basert observabilitet for LLM-er, vektordatabaser og agent-rammeverk.

OpenLLMetry, fra Traceloop, er et sett med åpen kildekode-utvidelser bygget på OpenTelemetry som gir full synlighet inn i LLM-applikasjoner. Det auto-instrumenterer leverandører som OpenAI og Anthropic, vektordatabaser og rammeverk som LangChain og LlamaIndex, og eksporterer standard OTel-spor til en hvilken som helst kompatibel backend. Fordi det er ikke-proprietært kan telemetri sendes til Datadog, Grafana, Honeycomb eller Traceloop selv.

Kodelager

traceloop/openllmetry

Språk

Python

Det du kan bygge med den

  • Legg til LLM- og vektordatabase-sporing i en app med noen få linjer ved hjelp av OpenTelemetry
  • Send token-, kostnads- og latens-span-er til en eksisterende OTel-backend som Grafana eller Datadog
  • Standardiser agent-observabilitet på tvers av rammeverk uten leverandørlåsing

Tagger

llm-observabilityopentelemetrytracinginstrumentation