Scrapy

Le framework Python éprouvé pour le crawling web à grande échelle.

Scrapy est un framework open-source rapide et mature pour crawler des sites web et extraire des données structurées à grande échelle, construit sur un noyau asynchrone Twisted. Il fournit des spiders, des pipelines d'items, des middlewares, l'autothrottling et un support intégré des sélecteurs, faisant de lui le standard de facto pour le scraping Python en production. Il se distingue par son extensibilité et l'écosystème qui l'entoure en termes de plugins et d'outillage de déploiement.