Código abiertoScraping52k
Crawl4AI
Crawler y scraper web open-source adaptado para LLM, pensado para agentes.
Crawl4AI es un crawler y scraper Python open-source diseñado para producir salidas adaptadas a LLM, generando markdown limpio y extracciones estructuradas de páginas web. Admite rastreo asíncrono, renderizado con navegador headless y estrategias de extracción basadas en LLM o en esquemas. Destaca como una alternativa gratuita ampliamente utilizada para preparar datos web en pipelines de IA.
Repositorio
unclecode/crawl4aiLenguaje
PythonLo que construirías con esto
- Rastrear páginas y convertirlas a markdown para ingestión en LLM
- Ejecutar trabajos de scraping asíncronos y de alta capacidad
- Extraer datos estructurados mediante estrategias CSS/XPath o LLM para RAG
Etiquetas
crawlingllm-readyasync