Ragas

Evalueringsverktøy for RAG-rørledninger og LLM-applikasjoner.

Ragas er et åpen kildekode-rammeverk for evaluering og testing av LLM-applikasjoner, med et sterkt fokus på retrieval-augmented generation. Det tilbyr referansefrie metrikker som troskap, svarsrelevans og kontekstpresisjon/gjenkalling, samt verktøy for å generere syntetiske testsett. Det integreres med LangChain, LlamaIndex og observabilitetsverktøy for å bringe objektiv skåring inn i CI og eksperimentløkker.