Código abiertoScraping60k
Firecrawl
Convierte cualquier sitio web en markdown limpio listo para LLM o en datos estructurados.
Firecrawl es un servicio y kit de herramientas open-source que rastrea sitios web y convierte las páginas en formatos limpios listos para LLM, como markdown y datos estructurados, gestionando el renderizado de JavaScript y los proxies. Expone endpoints de scrape, crawl y extracción mediante una API y SDKs. Destaca por transformar sitios enteros en contenido optimizado para RAG e ingestión en LLM.
Repositorio
firecrawl/firecrawlLenguaje
TypeScriptLo que construirías con esto
- Convertir sitios web en markdown limpio para contexto RAG y de LLM
- Rastrear todas las páginas de un sitio mediante una única llamada a la API
- Extraer datos estructurados de páginas con extracción basada en esquemas
Etiquetas
crawlingmarkdownllm-ready