Açık KaynakScraping60k
Firecrawl
Herhangi bir web sitesini temiz, LLM'e hazır markdown'a veya yapılandırılmış veriye dönüştürün.
Firecrawl, web sitelerini crawl eden ve sayfaları JavaScript render'ı ile proxy yönetimini de üstlenerek markdown ve yapılandırılmış veri gibi temiz, LLM'e hazır formatlara dönüştüren bir servis ve açık kaynak araç setidir. API ve SDK'lar aracılığıyla scrape, crawl ve extract endpoint'leri sunar. Tüm siteleri RAG ve LLM entegrasyonu için optimize edilmiş içeriğe dönüştürmesiyle öne çıkar.
Depo
firecrawl/firecrawlDil
TypeScriptBununla neler kurabilirsin
- Web sitelerini RAG ve LLM bağlamı için temiz markdown'a dönüştürme
- Tek bir API çağrısıyla bir sitenin tüm sayfalarını crawl etme
- Şema tabanlı çıkarımla sayfalardan yapılandırılmış veri elde etme
Etiketler
crawlingmarkdownllm-ready