Open SourceScraping27k
ScrapeGraphAI
LLM-aangedreven scraper die graph-pipelines opbouwt vanuit een gewone prompt.
ScrapeGraphAI is een Python web scraping-bibliotheek die LLMs en een graph-gebaseerde pipeline gebruikt om gestructureerde data van websites te extraheren op basis van prompts in natuurlijke taal. In plaats van CSS- of XPath-selectors te schrijven, beschrijven gebruikers welke data ze willen en bouwt de bibliotheek de extractielogica. Opmerkelijk is de combinatie van LLM-redenering met scraping om schema-conforme uitvoer te produceren.
Opslagplaats
ScrapeGraphAI/Scrapegraph-aiTaal
PythonWat je ermee zou bouwen
- Gestructureerde data van pagina's extraheren door de gewenste velden in gewone taal te beschrijven
- Scrapers bouwen die zich aanpassen aan uiteenlopende paginalay-outs zonder handgeschreven selectors
- JSON/schema-conforme uitvoer direct produceren voor downstream-pipelines
Tags
ai-scrapergraphllm