Open SourceRAG16k
Sentence Transformers
Il toolkit standard per embedding di testo e immagini e reranker.
Sentence Transformers (SBERT) è un framework Python per il calcolo di embedding vettoriali densi di frasi, paragrafi e immagini, oltre che per l'addestramento e l'uso di reranker cross-encoder. Espone migliaia di modelli preaddestrati e un'API semplice per encoding, similarità semantica e fine-tuning su dati personalizzati. È la libreria più usata per generare gli embedding che alimentano database vettoriali e il retrieval RAG.
Repository
UKPLab/sentence-transformersLinguaggio
PythonCosa ci costruiresti
- Generare embedding di documenti e query da indicizzare in un vector store per ricerca semantica e RAG
- Fare fine-tuning di un modello di embedding su dati di dominio per migliorare la rilevanza del retrieval
- Aggiungere uno stadio di reranking cross-encoder per riordinare i top-k chunk recuperati prima di passarli a un LLM
Tag
embeddingsrerankingsemantic-searchnlp