Alle open source
Open SourceScraping27k

ScrapeGraphAI

LLM-aangedreven scraper die graph-pipelines opbouwt vanuit een gewone prompt.

ScrapeGraphAI is een Python web scraping-bibliotheek die LLMs en een graph-gebaseerde pipeline gebruikt om gestructureerde data van websites te extraheren op basis van prompts in natuurlijke taal. In plaats van CSS- of XPath-selectors te schrijven, beschrijven gebruikers welke data ze willen en bouwt de bibliotheek de extractielogica. Opmerkelijk is de combinatie van LLM-redenering met scraping om schema-conforme uitvoer te produceren.

Opslagplaats

ScrapeGraphAI/Scrapegraph-ai

Taal

Python

Wat je ermee zou bouwen

  • Gestructureerde data van pagina's extraheren door de gewenste velden in gewone taal te beschrijven
  • Scrapers bouwen die zich aanpassen aan uiteenlopende paginalay-outs zonder handgeschreven selectors
  • JSON/schema-conforme uitvoer direct produceren voor downstream-pipelines

Tags

ai-scrapergraphllm