Código abiertoScraping24k
Colly
Un framework de scraping rápido e idiomático para Go.
Colly es un framework de scraping y crawling para Go, ultrarrápido y elegante, que ofrece una API limpia basada en callbacks para navegar por enlaces y extraer datos. Admite scraping paralelo, limitación de velocidad, caché, rotación de proxies y respeta robots.txt de forma nativa. Destaca por su rendimiento y mínima huella, siendo muy popular para crawlers de alto rendimiento escritos en Go.
Repositorio
gocolly/collyLenguaje
GoLo que construirías con esto
- Construir crawlers de alto rendimiento donde la concurrencia de Go supera a Python
- Recopilar datos web estructurados con limitación de velocidad y caché integrados
- Integrar un scraper en un servicio Go o pipeline de datos
Etiquetas
crawlingscrapinggoconcurrency