Crawl4AI

Open-source LLM-vriendelijke webcrawler en scraper, gebouwd voor agents.

Crawl4AI is een open-source Python-crawler en scraper gebouwd om LLM-vriendelijke uitvoer te produceren: schone markdown en gestructureerde extracties van webpagina's. Het ondersteunt asynchroon crawlen, headless-browserrendering en LLM-gebaseerde of schema-gebaseerde extractiestrategieën. Het is een veelgebruikte, gratis alternatief voor het voorbereiden van webdata voor AI-pipelines.