Alle Open Source
Open SourceRAG16k

Sentence Transformers

Das Standard-Toolkit für Text- und Bild-Embeddings sowie Reranker.

Sentence Transformers (SBERT) ist ein Python-Framework zur Berechnung dichter Vektordarstellungen von Sätzen, Absätzen und Bildern sowie zum Training und Einsatz von Cross-Encoder-Rerankern. Es bietet Tausende vortrainierter Modelle und eine einfache API für Kodierung, semantische Ähnlichkeit und Fine-Tuning auf eigenen Daten. Es ist die meistgenutzte Bibliothek zur Erzeugung der Embeddings, die Vektordatenbanken und RAG-Retrieval speisen.

Repository

UKPLab/sentence-transformers

Sprache

Python

Was du damit bauen kannst

  • Dokument- und Abfrage-Embeddings erzeugen, um sie für semantische Suche und RAG in einen Vektorspeicher zu indizieren
  • Ein Embedding-Modell auf Domänendaten fine-tunen, um die Retrieval-Relevanz zu verbessern
  • Eine Cross-Encoder-Reranking-Stufe hinzufügen, um die Top-k abgerufenen Chunks vor der Übergabe an ein LLM neu zu ordnen

Tags

embeddingsrerankingsemantic-searchnlp