Crawlee

Produksjonsklar crawling-bibliotek med køer, proxyrotering og sesjoner.

Crawlee er et web-skraping- og nettleserautomatiseringsbibliotek fra Apify for å bygge pålitelige crawlere i Node.js/TypeScript og Python. Det tilbyr enhetlige HTTP- og headless-nettlesercrawlere (Playwright, Puppeteer), automatisk forespørselskøing, proxyrotering og anti-blokkeringsfunksjoner. Biblioteket er kjent for å håndtere crawl-tilstandsadministrasjon, skalering og nye forsøk rett ut av boksen.