Öppen källkodScraping24k
Colly
Ett snabbt, idiomatiskt skrapningsramverk för Go.
Colly är ett blixtsnabbt och elegant skrapnings- och crawlingsramverk för Go, med ett rent callback-baserat API för att navigera länkar och extrahera data. Det stöder parallell skrapning, hastighetsbegränsning, caching, byte av proxy och respekterar robots.txt direkt ur lådan. Det utmärker sig för sin prestanda och minimala fotavtryck, vilket gör det populärt för högpresterande Go-baserade crawlers.
Kodförråd
gocolly/collySpråk
GoVad du kan bygga med det
- Bygga högpresterande crawlers där Go:s concurrency slår Python
- Samla strukturerad webbdata med inbyggd hastighetsbegränsning och caching
- Bädda in en skrapare i en Go-tjänst eller datapipeline
Taggar
crawlingscrapinggoconcurrency