Código abiertoScraping14k
Katana
Un crawler rápido diseñado para reconocimiento de seguridad y descubrimiento de URLs.
Katana es un framework de crawling web rápido y escalable de ProjectDiscovery, escrito en Go, diseñado para un descubrimiento exhaustivo de URLs mediante crawling estándar y con reconocimiento JavaScript en modo headless. Admite control de alcance, relleno de formularios, fuentes pasivas y extracción de campos personalizados, con foco en pipelines de automatización. Destaca en el ámbito de la seguridad y el reconocimiento por su velocidad y su profundidad de crawling configurable.
Repositorio
projectdiscovery/katanaLenguaje
GoLo que construirías con esto
- Enumerar la superficie URL completa de un sitio antes de hacer scraping o análisis
- Rastrear aplicaciones renderizadas con JS para descubrir endpoints y recursos ocultos
- Alimentar URLs descubiertas en pipelines automatizados de datos o seguridad
Etiquetas
crawlingrecongourl-discovery