Ragas

Utvärderingsverktyg för RAG-pipelines och LLM-applikationer.

Ragas är ett ramverk med öppen källkod för att utvärdera och testa LLM-applikationer, med starkt fokus på hämtningsförstärkt generering. Det tillhandahåller referensfria mätvärden som trovärdighet, svarsrelevans och kontextprecision/återkallning, samt verktyg för att generera syntetiska testset. Det integrerar med LangChain, LlamaIndex och observerbarhetsverktyg för att föra in objektiv betygsättning i CI- och experimentloopar.