Open SourceScraping60k
MarkItDown
Convertissez documents et contenus web en Markdown propre prêt pour les LLM.
MarkItDown est un utilitaire Microsoft qui convertit une large gamme de fichiers et de pages web (HTML, PDF, documents Office, images, audio) en Markdown propre optimisé pour la consommation par les LLM. Il préserve la structure comme les titres, tableaux et listes afin que les modèles puissent raisonner sur le contenu de manière fiable. Il se distingue par sa capacité à normaliser des contenus scrappés ou téléchargés en un format texte unique pour l'ingestion.
Dépôt
microsoft/markitdownLangage
PythonCe que vous pourriez construire avec
- Transformer des pages HTML scrappées en Markdown propre pour l'ingestion RAG
- Normaliser des PDFs et documents Office en texte compatible LLM
- Prétraiter du contenu web mixte en un format cohérent pour les embeddings
Tags
markdownllmconversionrag