Open SourceRAG16k
Sentence Transformers
Le toolkit de référence pour les embeddings de texte et d'images et les rerankeurs.
Sentence Transformers (SBERT) est un framework Python pour le calcul d'embeddings vectoriels denses de phrases, paragraphes et images, ainsi que pour l'entraînement et l'utilisation de rerankeurs cross-encoder. Il expose des milliers de modèles pré-entraînés et une API simple pour l'encodage, la similarité sémantique et le fine-tuning sur des données personnalisées. C'est la bibliothèque la plus utilisée pour générer les embeddings alimentant les bases de données vectorielles et la récupération RAG.
Dépôt
UKPLab/sentence-transformersLangage
PythonCe que vous pourriez construire avec
- Générer des embeddings de documents et de requêtes pour les indexer dans un magasin de vecteurs dédié à la recherche sémantique et au RAG
- Affiner un modèle d'embedding sur des données métier pour améliorer la pertinence de la récupération
- Ajouter une étape de re-ranking par cross-encoder pour réordonner les chunks récupérés en top-k avant de les transmettre à un LLM
Tags
embeddingsrerankingsemantic-searchnlp