Tutto l'open source
Open SourceScraping24k

Colly

Un framework di scraping veloce e idiomatico per Go.

Colly è un framework di scraping e crawling per Go, velocissimo ed elegante, che offre un'API pulita basata su callback per navigare link ed estrarre dati. Supporta scraping parallelo, rate limiting, caching, switch di proxy e rispetta robots.txt out of the box. Si distingue per le sue performance e il footprint minimale, rendendolo popolare per crawler Go ad alto throughput.

Repository

gocolly/colly

Linguaggio

Go

Cosa ci costruiresti

  • Costruire crawler ad alto throughput dove la concorrenza di Go supera Python
  • Raccogliere dati web strutturati con rate limiting e caching integrati
  • Integrare uno scraper in un servizio Go o in una pipeline di dati

Tag

crawlingscrapinggoconcurrency