Crawl4AI

Crawler et scraper web open source adapté aux LLMs, conçu pour les agents.

Crawl4AI est un crawler et scraper Python open source conçu pour produire des sorties adaptées aux LLMs, générant du markdown propre et des extractions structurées à partir de pages web. Il supporte le crawling asynchrone, le rendu headless et des stratégies d'extraction basées sur LLM ou schéma. Il est notamment reconnu comme une alternative gratuite et très populaire pour préparer des données web destinées aux pipelines IA.