Åpen kildekodeSkraping24k
Colly
Et raskt, idiomatisk scraping-rammeverk for Go.
Colly er et lynraskt, elegant scraping- og crawling-rammeverk for Go med et rent callback-basert API for navigering av lenker og uttrekk av data. Det støtter parallell scraping, hastighetsbegrensning, caching, proxy-bytte og respekterer robots.txt rett ut av boksen. Det er kjent for sin ytelse og minimale fotavtrykk, og er populært for høytytende Go-baserte crawlere.
Kodelager
gocolly/collySpråk
GoDet du kan bygge med den
- Bygge høytytende crawlere der Gos concurrency slår Python
- Samle inn strukturerte webdata med innebygd hastighetsbegrensning og caching
- Bygge inn en scraper i en Go-tjeneste eller datapipeline
Tagger
crawlingscrapinggoconcurrency