Open SourceRAG16k
Sentence Transformers
Das Standard-Toolkit für Text- und Bild-Embeddings sowie Reranker.
Sentence Transformers (SBERT) ist ein Python-Framework zur Berechnung dichter Vektordarstellungen von Sätzen, Absätzen und Bildern sowie zum Training und Einsatz von Cross-Encoder-Rerankern. Es bietet Tausende vortrainierter Modelle und eine einfache API für Kodierung, semantische Ähnlichkeit und Fine-Tuning auf eigenen Daten. Es ist die meistgenutzte Bibliothek zur Erzeugung der Embeddings, die Vektordatenbanken und RAG-Retrieval speisen.
Repository
UKPLab/sentence-transformersSprache
PythonWas du damit bauen kannst
- Dokument- und Abfrage-Embeddings erzeugen, um sie für semantische Suche und RAG in einen Vektorspeicher zu indizieren
- Ein Embedding-Modell auf Domänendaten fine-tunen, um die Retrieval-Relevanz zu verbessern
- Eine Cross-Encoder-Reranking-Stufe hinzufügen, um die Top-k abgerufenen Chunks vor der Übergabe an ein LLM neu zu ordnen
Tags
embeddingsrerankingsemantic-searchnlp