Crawlee

Produktionsklar crawlingbibliotek med köhantering, proxirotation och sessioner.

Crawlee är ett webbskrapnings- och webbläsarautomatiseringsbibliotek från Apify för att bygga tillförlitliga crawlers i Node.js/TypeScript och Python. Det tillhandahåller enhetliga HTTP- och headless-webbläsarcrawlers (Playwright, Puppeteer), automatisk köhantering för förfrågningar, proxirotation och anti-blockingfunktioner. Det är anmärkningsvärt för att hantera crawl-tillståndshantering, skalning och återförsök direkt ur lådan.