Open SourceRAG16k
Sentence Transformers
De standaardtoolkit voor tekst- en afbeeldingsembeddings en rerankers.
Sentence Transformers (SBERT) is een Python-framework voor het berekenen van dense vectorembeddings van zinnen, alinea's en afbeeldingen, plus het trainen en gebruiken van cross-encoder rerankers. Het biedt toegang tot duizenden voorgetrainde modellen en een eenvoudige API voor codering, semantische gelijkenis en finetuning op eigen data. Het is de meestgebruikte bibliotheek voor het genereren van embeddings die vectordatabases en RAG-retrieval voeden.
Opslagplaats
UKPLab/sentence-transformersTaal
PythonWat je ermee zou bouwen
- Document- en query-embeddings genereren om te indexeren in een vectorstore voor semantisch zoeken en RAG
- Een embeddingmodel finetunen op domeindata om de retrieval-relevantie te verbeteren
- Een cross-encoder reranking-fase toevoegen om de top-k opgehaalde chunks te herordenen voordat ze naar een LLM worden doorgegeven
Tags
embeddingsrerankingsemantic-searchnlp