Open SourceScraping24k
Colly
Een snel, idiomatisch scraping-framework voor Go.
Colly is een bliksemsnel, elegant scraping- en crawlingframework voor Go, met een overzichtelijke callback-gebaseerde API voor het navigeren door links en het extraheren van data. Het ondersteunt parallel scrapen, rate limiting, caching, proxy-switching en respecteert standaard robots.txt. Het is opvallend door zijn prestaties en minimale footprint, waardoor het populair is voor hoogdoorvoer Go-gebaseerde crawlers.
Opslagplaats
gocolly/collyTaal
GoWat je ermee zou bouwen
- Hoogdoorvoer-crawlers bouwen waarbij Go's concurrency Python verslaat
- Gestructureerde webdata verzamelen met ingebouwde rate limiting en caching
- Een scraper inbedden in een Go-service of datapipeline
Tags
crawlingscrapinggoconcurrency