Alle open source
Open SourceScraping24k

Colly

Een snel, idiomatisch scraping-framework voor Go.

Colly is een bliksemsnel, elegant scraping- en crawlingframework voor Go, met een overzichtelijke callback-gebaseerde API voor het navigeren door links en het extraheren van data. Het ondersteunt parallel scrapen, rate limiting, caching, proxy-switching en respecteert standaard robots.txt. Het is opvallend door zijn prestaties en minimale footprint, waardoor het populair is voor hoogdoorvoer Go-gebaseerde crawlers.

Opslagplaats

gocolly/colly

Taal

Go

Wat je ermee zou bouwen

  • Hoogdoorvoer-crawlers bouwen waarbij Go's concurrency Python verslaat
  • Gestructureerde webdata verzamelen met ingebouwde rate limiting en caching
  • Een scraper inbedden in een Go-service of datapipeline

Tags

crawlingscrapinggoconcurrency