Colly

Ein schnelles, idiomatisches Scraping-Framework für Go.

Colly ist ein blitzschnelles, elegantes Scraping- und Crawling-Framework für Go mit einer sauberen callback-basierten API zur Link-Navigation und Datenextraktion. Es unterstützt paralleles Scraping, Rate-Limiting, Caching, Proxy-Wechsel und respektiert robots.txt standardmäßig. Besonders hervorzuheben sind Leistung und minimaler Footprint, was es bei hochdurchsatzfähigen Go-basierten Crawlern beliebt macht.