TECHSY.communityby techsy.io
Registrieren
Alle Open Source
Open SourceScraping17k

Crawlee

Produktionsreife Crawling-Bibliothek mit Queues, Proxy-Rotation und Sessions.

Crawlee ist eine Web-Scraping- und Browser-Automatisierungsbibliothek von Apify zum Aufbau zuverlÀssiger Crawler in Node.js/TypeScript und Python. Sie bietet einheitliche HTTP- und Headless-Browser-Crawler (Playwright, Puppeteer), automatisches Request-Queuing, Proxy-Rotation und Anti-Blocking-Features. Besonders hervorzuheben ist die Out-of-the-Box-Verwaltung von Crawl-Zustand, Skalierung und Wiederholungsversuchen.

Repo ansehen

Repository

apify/crawlee

Sprache

TypeScript

Was du damit bauen kannst

  • Aufbau groß angelegter Crawler mit automatischem Queuing und Wiederholungsversuchen
  • Proxy-Rotation und Session-Management zur Umgehung von Blockierungen
  • Crawlen von JavaScript-lastigen Seiten mit verwalteten Headless-Browsern

Tags

crawlingscrapingproxy