Open SourceScraping60k
MarkItDown
Documenten en webinhoud omzetten naar schone, LLM-klare Markdown.
MarkItDown is een Microsoft-hulpprogramma dat een breed scala aan bestanden en webpagina's (HTML, PDF, Office-documenten, afbeeldingen, audio) omzet naar schone Markdown geoptimaliseerd voor LLM-consumptie. Het behoudt structuur zoals koppen, tabellen en lijsten zodat modellen betrouwbaar over inhoud kunnen redeneren. Het is opvallend voor het normaliseren van rommelige gescrapte of gedownloade inhoud naar één tekstformaat voor ingestie.
Opslagplaats
microsoft/markitdownTaal
PythonWat je ermee zou bouwen
- Gescrapte HTML-pagina's omzetten naar schone Markdown voor RAG-ingestie
- PDF's en Office-documenten normaliseren naar LLM-vriendelijke tekst
- Gemengde webinhoud voorverwerken naar een consistent formaat voor embeddings
Tags
markdownllmconversionrag