Open SourceScraping60k
Firecrawl
Transformez n'importe quel site web en markdown propre prêt pour les LLMs ou en données structurées.
Firecrawl est un service et une boîte à outils open source qui crawle les sites web et convertit les pages en formats propres optimisés pour les LLMs, comme le markdown et les données structurées, en gérant le rendu JavaScript et les proxies. Il expose des endpoints de scraping, de crawl et d'extraction avec une API et des SDK. Il se distingue par sa capacité à transformer des sites entiers en contenu optimisé pour l'ingestion RAG et LLM.
Dépôt
firecrawl/firecrawlLangage
TypeScriptCe que vous pourriez construire avec
- Convertir des sites web en markdown propre pour le contexte RAG et LLM
- Crawler toutes les pages d'un site via un seul appel API
- Extraire des données structurées de pages grâce à une extraction basée sur des schémas
Tags
crawlingmarkdownllm-ready