Open SourceAnalytics9k
Ragas
Toolkit di valutazione per pipeline RAG e applicazioni LLM.
Ragas è un framework open-source per valutare e testare applicazioni LLM, con un focus specifico sulla retrieval-augmented generation. Fornisce metriche reference-free come faithfulness, rilevanza delle risposte e precisione/recall del contesto, oltre a strumenti per generare test set sintetici. Si integra con LangChain, LlamaIndex e tool di osservabilità per portare uno scoring oggettivo nei loop di CI e sperimentazione.
Repository
explodinggradients/ragasLinguaggio
PythonCosa ci costruiresti
- Valutare le risposte RAG per faithfulness e rilevanza del contesto senza etichette manuali
- Generare set di test sintetici domanda/risposta per fare benchmark di una pipeline di retrieval
- Bloccare modifiche al modello o ai prompt in CI tracciando le metriche di valutazione nel tempo
Tag
evalsragllm-testingmetrics