Tout l'open source
Open SourceScraping24k

Colly

Un framework de scraping idiomatique et rapide pour Go.

Colly est un framework de scraping et de crawling ultra-rapide et élégant pour Go, offrant une API propre basée sur des callbacks pour naviguer entre les liens et extraire des données. Il prend en charge le scraping parallèle, la limitation de débit, la mise en cache, le changement de proxy et respecte robots.txt nativement. Il se distingue par ses performances et son empreinte minimale, ce qui le rend populaire pour les crawlers Go à fort débit.

Dépôt

gocolly/colly

Langage

Go

Ce que vous pourriez construire avec

  • Construire des crawlers à fort débit où la concurrence de Go surpasse Python
  • Collecter des données web structurées avec une limitation de débit et une mise en cache intégrées
  • Intégrer un scraper dans un service Go ou un pipeline de données

Tags

crawlingscrapinggoconcurrency