All åpen kildekode
Åpen kildekodeSkraping24k

Colly

Et raskt, idiomatisk scraping-rammeverk for Go.

Colly er et lynraskt, elegant scraping- og crawling-rammeverk for Go med et rent callback-basert API for navigering av lenker og uttrekk av data. Det støtter parallell scraping, hastighetsbegrensning, caching, proxy-bytte og respekterer robots.txt rett ut av boksen. Det er kjent for sin ytelse og minimale fotavtrykk, og er populært for høytytende Go-baserte crawlere.

Kodelager

gocolly/colly

Språk

Go

Det du kan bygge med den

  • Bygge høytytende crawlere der Gos concurrency slår Python
  • Samle inn strukturerte webdata med innebygd hastighetsbegrensning og caching
  • Bygge inn en scraper i en Go-tjeneste eller datapipeline

Tagger

crawlingscrapinggoconcurrency