Open SourceScraping24k
Colly
Un framework di scraping veloce e idiomatico per Go.
Colly è un framework di scraping e crawling per Go, velocissimo ed elegante, che offre un'API pulita basata su callback per navigare link ed estrarre dati. Supporta scraping parallelo, rate limiting, caching, switch di proxy e rispetta robots.txt out of the box. Si distingue per le sue performance e il footprint minimale, rendendolo popolare per crawler Go ad alto throughput.
Repository
gocolly/collyLinguaggio
GoCosa ci costruiresti
- Costruire crawler ad alto throughput dove la concorrenza di Go supera Python
- Raccogliere dati web strutturati con rate limiting e caching integrati
- Integrare uno scraper in un servizio Go o in una pipeline di dati
Tag
crawlingscrapinggoconcurrency