كل المشاريع مفتوحة المصدر
مفتوح المصدراستخلاص البيانات17k

Crawlee

مكتبة زحف احترافية مع قوائم انتظار، وتدوير بروكسي، وإدارة جلسات.

Crawlee هي مكتبة لاستخراج بيانات الويب وأتمتة المتصفح من Apify، مخصصة لبناء زاحفات موثوقة باستخدام Node.js/TypeScript وPython. توفر زاحفات HTTP وزاحفات متصفح headless موحدة (Playwright وPuppeteer)، مع إدارة تلقائية لقوائم انتظار الطلبات، وتدوير البروكسي، وميزات مكافحة الحجب. تتميز بمعالجة إدارة حالة الزحف والتوسع وإعادة المحاولة بشكل تلقائي دون أي إعداد إضافي.

المستودع

apify/crawlee

اللغة

TypeScript

ما الذي يمكنك بناؤه به

  • بناء زاحفات واسعة النطاق مع إدارة تلقائية لقوائم الانتظار وإعادة المحاولة
  • تدوير البروكسي وإدارة الجلسات لتجنب الحجب
  • زحف المواقع التي تعتمد بشكل كبير على JavaScript باستخدام متصفحات headless مُدارة

الوسوم

crawlingscrapingproxy