Crawl4AI

Agent'lar için tasarlanmış, açık kaynaklı ve LLM dostu web crawler ve scraper.

Crawl4AI, web sayfalarından temiz markdown ve yapılandırılmış çıkarımlar üreterek LLM dostu çıktı üretmek amacıyla geliştirilmiş açık kaynaklı bir Python crawler ve scraper'dır. Asenkron crawling, headless tarayıcı render'ı ve LLM tabanlı ya da şema tabanlı çıkarım stratejilerini destekler. AI pipeline'ları için web verisi hazırlamada geniş yıldız sayısına sahip, ücretsiz bir alternatif olarak öne çıkar.