Open SourceScraping60k
Firecrawl
Trasforma qualsiasi sito web in markdown pulito o dati strutturati pronti per gli LLM.
Firecrawl è un servizio e toolkit open source che effettua il crawl di siti web e converte le pagine in formati puliti e pronti per gli LLM come markdown e dati strutturati, gestendo il rendering JavaScript e i proxy. Espone endpoint di scrape, crawl ed estrazione tramite API e SDK. Si distingue per la capacità di trasformare interi siti in contenuti ottimizzati per il RAG e l'ingestione da parte degli LLM.
Repository
firecrawl/firecrawlLinguaggio
TypeScriptCosa ci costruiresti
- Convertire siti web in markdown pulito per il RAG e il contesto degli LLM
- Effettuare il crawl di tutte le pagine di un sito tramite una singola chiamata API
- Estrarre dati strutturati dalle pagine con estrazione basata su schema
Tag
crawlingmarkdownllm-ready