All öppen källkod
Öppen källkodScraping24k

Colly

Ett snabbt, idiomatiskt skrapningsramverk för Go.

Colly är ett blixtsnabbt och elegant skrapnings- och crawlingsramverk för Go, med ett rent callback-baserat API för att navigera länkar och extrahera data. Det stöder parallell skrapning, hastighetsbegränsning, caching, byte av proxy och respekterar robots.txt direkt ur lådan. Det utmärker sig för sin prestanda och minimala fotavtryck, vilket gör det populärt för högpresterande Go-baserade crawlers.

Kodförråd

gocolly/colly

Språk

Go

Vad du kan bygga med det

  • Bygga högpresterande crawlers där Go:s concurrency slår Python
  • Samla strukturerad webbdata med inbyggd hastighetsbegränsning och caching
  • Bädda in en skrapare i en Go-tjänst eller datapipeline

Taggar

crawlingscrapinggoconcurrency