Scrapy

Det kamptestede Python-rammeverket for storskala webcrawling.

Scrapy er et raskt, modent åpen kildekode-rammeverk for crawling av nettsteder og uttrekk av strukturerte data i stor skala, bygget på en asynkron Twisted-kjerne. Det tilbyr spiders, item-pipelines, middlewares, autothrottling og innebygd støtte for selektorer, noe som gjør det til de facto standard for produksjons-Python-scraping. Det er kjent for sin utvidbarhet og det omkringliggende økosystemet av plugins og distribusjonsverktøy.