Código abiertoRAG16k
Sentence Transformers
El toolkit estándar para embeddings de texto e imágenes y rerankers.
Sentence Transformers (SBERT) es un framework Python para calcular embeddings vectoriales densos de frases, párrafos e imágenes, además de entrenar y utilizar rerankers de tipo cross-encoder. Expone miles de modelos preentrenados y una API sencilla para codificación, similitud semántica y ajuste fino con datos propios. Es la biblioteca más utilizada para generar los embeddings que alimentan bases de datos vectoriales y la recuperación en RAG.
Repositorio
UKPLab/sentence-transformersLenguaje
PythonLo que construirías con esto
- Generar embeddings de documentos y consultas para indexarlos en un almacén vectorial de búsqueda semántica y RAG
- Ajustar fino un modelo de embeddings con datos del dominio para mejorar la relevancia en recuperación
- Añadir una etapa de re-ranking con cross-encoder para reordenar los top-k fragmentos recuperados antes de enviarlos a un LLM
Etiquetas
embeddingsrerankingsemantic-searchnlp