Crawl4AI

Open-Source LLM-freundlicher Web-Crawler und Scraper, entwickelt für Agenten.

Crawl4AI ist ein Open-Source Python-Crawler und -Scraper, der für LLM-freundlichen Output entwickelt wurde und sauberes Markdown sowie strukturierte Extraktionen aus Webseiten erzeugt. Er unterstützt asynchrones Crawling, Headless-Browser-Rendering sowie LLM-basierte oder schema-basierte Extraktionsstrategien. Er gilt als weitverbreitete, kostenlose Alternative zur Aufbereitung von Webdaten für KI-Pipelines.