All öppen källkod
Öppen källkodAnalys6k

OpenLLMetry

OpenTelemetry-baserad observerbarhet för LLM:er, vektordatabaser och agentramverk.

OpenLLMetry, från Traceloop, är en uppsättning öppna källkodstillägg byggda på OpenTelemetry som ger full synlighet i LLM-applikationer. Det autoinstrumenterar leverantörer som OpenAI och Anthropic, vektordatabaser och ramverk som LangChain och LlamaIndex, och exporterar sedan standard OTel-spår till valfri kompatibel backend. Eftersom det är icke-proprietärt kan telemetri skickas till Datadog, Grafana, Honeycomb eller Traceloop självt.

Kodförråd

traceloop/openllmetry

Språk

Python

Vad du kan bygga med det

  • Lägg till LLM- och vektordatabasspårning till en app med några rader med OpenTelemetry
  • Skicka token-, kostnads- och latensspann till en befintlig OTel-backend som Grafana eller Datadog
  • Standardisera agentobserverbarhet över ramverk utan leverantörsinlåsning

Taggar

llm-observabilityopentelemetrytracinginstrumentation