Crawl4AI

Åpen kildekode LLM-vennlig web-crawler og skraper, bygget for agenter.

Crawl4AI er en åpen kildekode Python-crawler og skraper bygget for å produsere LLM-vennlig utdata, med generering av ren markdown og strukturerte ekstraksjoner fra nettsider. Den støtter asynkron crawling, headless-nettleserrendering og LLM-baserte eller skjemabaserte ekstraheringsstrategier. Den er kjent som et mye brukt, gratis alternativ for å forberede webdata for AI-pipelines.