Open SourceScraping60k
Firecrawl
Zet elke website om naar schone LLM-klare markdown of gestructureerde data.
Firecrawl is een dienst en open-source toolkit die websites crawlt en pagina's omzet naar schone, LLM-klare formaten zoals markdown en gestructureerde data, met afhandeling van JavaScript-rendering en proxies. Het biedt scrape-, crawl- en extract-eindpunten via een API en SDK's. Opmerkelijk is het vermogen om volledige sites om te zetten naar content die geoptimaliseerd is voor RAG en LLM-ingestie.
Opslagplaats
firecrawl/firecrawlTaal
TypeScriptWat je ermee zou bouwen
- Websites omzetten naar schone markdown voor RAG en LLM-context
- Alle pagina's van een site crawlen via één API-aanroep
- Gestructureerde data van pagina's extraheren met schema-gebaseerde extractie
Tags
crawlingmarkdownllm-ready