Open SourceScraping14k
Katana
Ein schneller Crawler für Security-Recon und URL-Discovery.
Katana ist ein schnelles, skalierbares Web-Crawling-Framework von ProjectDiscovery, in Go geschrieben und auf gründliche URL-Discovery über sowohl Standard- als auch Headless-JavaScript-fähiges Crawling ausgelegt. Es unterstützt Scope-Kontrolle, Formularausfüllung, passive Quellen und benutzerdefinierte Feldextraktion mit Fokus auf Automatisierungspipelines. Im Sicherheits- und Recon-Bereich ist es für seine Geschwindigkeit und konfigurierbare Crawling-Tiefe bekannt.
Repository
projectdiscovery/katanaSprache
GoWas du damit bauen kannst
- Die vollständige URL-Oberfläche einer Website vor dem Scraping oder der Analyse aufzählen
- JS-gerenderte Apps crawlen, um versteckte Endpunkte und Assets zu entdecken
- Gefundene URLs in automatisierte Daten- oder Sicherheitspipelines einspeisen
Tags
crawlingrecongourl-discovery