Açık KaynakAnalitik6k
OpenLLMetry
LLM'ler, vektör veritabanları ve ajan framework'leri için OpenTelemetry tabanlı gözlemlenebilirlik.
Traceloop'un geliştirdiği OpenLLMetry, LLM uygulamalarına tam görünürlük kazandırmak için OpenTelemetry üzerine inşa edilmiş açık kaynaklı uzantılar kümesidir. OpenAI ve Anthropic gibi sağlayıcıları, vektör veritabanlarını ve LangChain ile LlamaIndex gibi framework'leri otomatik olarak enstrümanlar; ardından standart OTel izlerini uyumlu herhangi bir arka uca aktarır. Tescilli olmadığından telemetri verileri Datadog, Grafana, Honeycomb veya Traceloop'a gönderilebilir.
Depo
traceloop/openllmetryDil
PythonBununla neler kurabilirsin
- Birkaç satır kodla OpenTelemetry kullanarak bir uygulamaya LLM ve vektör veritabanı izleme ekleme
- Token, maliyet ve gecikme aralıklarını Grafana veya Datadog gibi mevcut bir OTel arka ucuna gönderme
- Vendor bağımlılığı olmadan framework'ler genelinde ajan gözlemlenebilirliğini standart hale getirme
Etiketler
llm-observabilityopentelemetrytracinginstrumentation