مفتوح المصدراستخلاص البيانات55k
Scrapy
إطار عمل Python المُجرَّب ميدانياً لزحف الويب على نطاق واسع.
Scrapy هو إطار عمل سريع وناضج ومفتوح المصدر لزحف المواقع الإلكترونية واستخراج البيانات المنظمة على نطاق واسع، مبني على نواة Twisted غير المتزامنة. يوفر عناكب وخطوط أنابيب للعناصر ووسيطات وتقييداً تلقائياً ودعماً مدمجاً للمحددات، مما يجعله المعيار الفعلي لزحف Python في الإنتاج. يتميز بقابليته للتوسع والنظام البيئي المحيط من الإضافات وأدوات النشر.
المستودع
scrapy/scrapyاللغة
Pythonما الذي يمكنك بناؤه به
- بناء زواحف إنتاج تحصد مجموعات بيانات التدريب أو RAG على نطاق واسع
- تشغيل عمليات زحف مجدولة وموزعة مع وسيطات التقييد وإعادة المحاولة
- استخراج عناصر منظمة في خلاصات JSON/CSV لخطوط أنابيب المصب
الوسوم
crawlingscrapingframeworkpython