Öppen källkodScraping60k
Firecrawl
Omvandla vilken webbplats som helst till ren LLM-redo markdown eller strukturerad data.
Firecrawl är en tjänst och ett open source-verktygspaket som crawlar webbplatser och konverterar sidor till rena, LLM-redo format som markdown och strukturerad data, med hantering av JavaScript-rendering och proxies. Det exponerar scrape-, crawl- och extract-endpoints via ett API och SDK:er. Det är anmärkningsvärt för att omvandla hela sajter till innehåll optimerat för RAG och LLM-inmatning.
Kodförråd
firecrawl/firecrawlSpråk
TypeScriptVad du kan bygga med det
- Konvertera webbplatser till ren markdown för RAG och LLM-kontext
- Crawla alla sidor på en sajt via ett enda API-anrop
- Extrahera strukturerad data från sidor med schemabaserad extraktion
Taggar
crawlingmarkdownllm-ready