Crawlee

Kuyruk yönetimi, proxy rotasyonu ve oturum desteğiyle üretim düzeyinde crawling kütüphanesi.

Crawlee, Apify tarafından geliştirilen; Node.js/TypeScript ve Python'da güvenilir crawler'lar oluşturmak için tasarlanmış bir web scraping ve tarayıcı otomasyon kütüphanesidir. Birleşik HTTP ve headless tarayıcı crawler'ları (Playwright, Puppeteer), otomatik istek kuyruğu, proxy rotasyonu ve engel önleme özellikleri sunar. Crawl durum yönetimi, ölçeklendirme ve yeniden deneme mekanizmalarını kutudan çıkar çıkmaz sağlamasıyla öne çıkar.