Tutto l'open source
Open SourceAnalytics9k

Ragas

Toolkit di valutazione per pipeline RAG e applicazioni LLM.

Ragas è un framework open-source per valutare e testare applicazioni LLM, con un focus specifico sulla retrieval-augmented generation. Fornisce metriche reference-free come faithfulness, rilevanza delle risposte e precisione/recall del contesto, oltre a strumenti per generare test set sintetici. Si integra con LangChain, LlamaIndex e tool di osservabilità per portare uno scoring oggettivo nei loop di CI e sperimentazione.

Repository

explodinggradients/ragas

Linguaggio

Python

Cosa ci costruiresti

  • Valutare le risposte RAG per faithfulness e rilevanza del contesto senza etichette manuali
  • Generare set di test sintetici domanda/risposta per fare benchmark di una pipeline di retrieval
  • Bloccare modifiche al modello o ai prompt in CI tracciando le metriche di valutazione nel tempo

Tag

evalsragllm-testingmetrics