Open SourceScraping52k
Crawl4AI
Web crawler e scraper open source ottimizzato per gli LLM, pensato per gli agenti.
Crawl4AI è un crawler e scraper Python open source progettato per produrre output ottimizzati per gli LLM, generando markdown pulito ed estrazioni strutturate dalle pagine web. Supporta crawling asincrono, rendering headless-browser e strategie di estrazione basate su LLM o su schema. Si distingue come alternativa gratuita e molto apprezzata per preparare dati web alle pipeline AI.
Repository
unclecode/crawl4aiLinguaggio
PythonCosa ci costruiresti
- Effettuare il crawl delle pagine e convertirle in markdown per l'ingestione da parte degli LLM
- Eseguire job di scraping asincroni ad alto throughput
- Estrarre dati strutturati tramite strategie CSS/XPath o LLM per il RAG
Tag
crawlingllm-readyasync