Öppen källkodScraping52k
Crawl4AI
Open source LLM-vänlig webbcrawler och skrapare, byggd för agenter.
Crawl4AI är en open source Python-crawler och skrapare byggd för att producera LLM-vänligt utdata, och genererar ren markdown och strukturerade extraktioner från webbsidor. Den stödjer asynkron crawling, headless-webbläsarrendering och LLM-baserade eller schemabaserade extraktionsstrategier. Det är anmärkningsvärt som ett populärt, gratis alternativ för att förbereda webbdata för AI-pipelines.
Kodförråd
unclecode/crawl4aiSpråk
PythonVad du kan bygga med det
- Crawla sidor och konvertera dem till markdown för LLM-inmatning
- Köra asynkrona, högkapacitetsjobb för skrapning
- Extrahera strukturerad data via CSS/XPath eller LLM-strategier för RAG
Taggar
crawlingllm-readyasync