Scrapy

Det beprövade Python-ramverket för storskalig webbcrawling.

Scrapy är ett snabbt, moget open-source-ramverk för att crawla webbplatser och extrahera strukturerad data i skala, byggt på en asynkron Twisted-kärna. Det tillhandahåller spindlar, itempipelines, middlewares, autothrottling och inbyggt stöd för selektorer, vilket gör det till de facto-standarden för produktionsmässig Python-skrapning. Det utmärker sig för sin utbyggbarhet och det omkringliggande ekosystemet av plugins och driftsättningsverktyg.