Código abiertoAnalytics6k
Evidently
Evaluación y monitorización open-source para sistemas de ML y LLM.
Evidently es una biblioteca Python open-source para evaluar, probar y monitorizar datos y sistemas de IA, abarcando casos de uso tanto de ML clásico como de LLM. Ofrece más de 100 métricas y pruebas integradas para deriva de datos, calidad del modelo y calidad de salida de LLMs, renderizadas como informes interactivos o suites de prueba. Puede ejecutarse como comprobaciones puntuales en un notebook o como monitorización programada con un panel de control opcional.
Repositorio
evidentlyai/evidentlyLenguaje
PythonLo que construirías con esto
- Detectar deriva de datos y predicciones en un modelo ML desplegado a lo largo del tiempo
- Evaluar salidas de LLMs en cuanto a calidad, toxicidad y corrección con métricas predefinidas
- Construir suites de prueba automatizadas y paneles de monitorización para pipelines de IA en producción
Etiquetas
ml-monitoringdrift-detectionevalsobservability