Tout l'open source
Open SourceRAG16k

Sentence Transformers

Le toolkit de référence pour les embeddings de texte et d'images et les rerankeurs.

Sentence Transformers (SBERT) est un framework Python pour le calcul d'embeddings vectoriels denses de phrases, paragraphes et images, ainsi que pour l'entraînement et l'utilisation de rerankeurs cross-encoder. Il expose des milliers de modèles pré-entraînés et une API simple pour l'encodage, la similarité sémantique et le fine-tuning sur des données personnalisées. C'est la bibliothèque la plus utilisée pour générer les embeddings alimentant les bases de données vectorielles et la récupération RAG.

Dépôt

UKPLab/sentence-transformers

Langage

Python

Ce que vous pourriez construire avec

  • Générer des embeddings de documents et de requêtes pour les indexer dans un magasin de vecteurs dédié à la recherche sémantique et au RAG
  • Affiner un modèle d'embedding sur des données métier pour améliorer la pertinence de la récupération
  • Ajouter une étape de re-ranking par cross-encoder pour réordonner les chunks récupérés en top-k avant de les transmettre à un LLM

Tags

embeddingsrerankingsemantic-searchnlp