Scrapy

Het beproefde Python-framework voor grootschalig webcrawlen.

Scrapy is een snel, volwassen, open-source framework voor het crawlen van websites en het op grote schaal extraheren van gestructureerde data, gebouwd op een asynchroon Twisted-core. Het biedt spiders, item-pipelines, middlewares, automatische throttling en ingebouwde ondersteuning voor selectors, waarmee het de de-facto standaard is voor productie-Python-scraping. Het is opvallend door zijn uitbreidbaarheid en het omringende ecosysteem van plugins en deployment-tooling.