مفتوح المصدراستخلاص البيانات24k
Colly
إطار عمل زحف سريع وأصيل لـ Go.
Colly هو إطار عمل زحف وجمع بيانات خفيف وأنيق لـ Go، يقدم API نظيفاً قائماً على ردود النداء للتنقل بين الروابط واستخراج البيانات. يدعم الزحف المتوازي وتحديد المعدل والتخزين المؤقت وتبديل الوكيل، ويحترم robots.txt خارج الصندوق. يتميز بأدائه وبصمته الضئيلة، مما يجعله شائعاً في الزواحف عالية الإنتاجية المبنية على Go.
المستودع
gocolly/collyاللغة
Goما الذي يمكنك بناؤه به
- بناء زواحف عالية الإنتاجية حيث يتفوق التزامن في Go على Python
- جمع بيانات ويب منظمة مع تحديد المعدل والتخزين المؤقت المدمجين
- تضمين زاحف في خدمة Go أو خط أنابيب بيانات
الوسوم
crawlingscrapinggoconcurrency