Alle open source
Open SourceScraping60k

Firecrawl

Zet elke website om naar schone LLM-klare markdown of gestructureerde data.

Firecrawl is een dienst en open-source toolkit die websites crawlt en pagina's omzet naar schone, LLM-klare formaten zoals markdown en gestructureerde data, met afhandeling van JavaScript-rendering en proxies. Het biedt scrape-, crawl- en extract-eindpunten via een API en SDK's. Opmerkelijk is het vermogen om volledige sites om te zetten naar content die geoptimaliseerd is voor RAG en LLM-ingestie.

Opslagplaats

firecrawl/firecrawl

Taal

TypeScript

Wat je ermee zou bouwen

  • Websites omzetten naar schone markdown voor RAG en LLM-context
  • Alle pagina's van een site crawlen via één API-aanroep
  • Gestructureerde data van pagina's extraheren met schema-gebaseerde extractie

Tags

crawlingmarkdownllm-ready