Öppen källkodScraping27k
ScrapeGraphAI
LLM-driven skrapare som bygger graph-pipelines från en enkel prompt.
ScrapeGraphAI är ett Python-webbskrapningsbibliotek som använder LLM:er och en grafbaserad pipeline för att extrahera strukturerad data från webbplatser baserat på naturspråkspromptar. Istället för att skriva CSS- eller XPath-selektorer beskriver användarna vilken data de vill ha och biblioteket bygger extraktionslogiken. Det är anmärkningsvärt för att kombinera LLM-resonemang med skrapning för att producera schemakonformant utdata.
Kodförråd
ScrapeGraphAI/Scrapegraph-aiSpråk
PythonVad du kan bygga med det
- Extrahera strukturerad data från sidor genom att beskriva önskade fält på naturligt språk
- Bygga skrapare som anpassar sig till varierade sidlayouter utan handskrivna selektorer
- Producera JSON/schemakonformant utdata direkt för efterföljande pipelines
Taggar
ai-scrapergraphllm