Open SourceScraping27k
ScrapeGraphAI
Scraper propulsé par LLM qui construit des pipelines en graphes à partir d'un simple prompt.
ScrapeGraphAI est une bibliothèque Python de web scraping qui utilise des LLMs et un pipeline basé sur des graphes pour extraire des données structurées de sites web à partir de prompts en langage naturel. Au lieu d'écrire des sélecteurs CSS ou XPath, les utilisateurs décrivent les données qu'ils souhaitent et la bibliothèque construit la logique d'extraction. Elle se distingue par la combinaison du raisonnement LLM et du scraping pour produire une sortie conforme à un schéma.
Dépôt
ScrapeGraphAI/Scrapegraph-aiLangage
PythonCe que vous pourriez construire avec
- Extraire des données structurées de pages en décrivant les champs désirés en langage naturel
- Construire des scrapers qui s'adaptent à des mises en page variées sans sélecteurs écrits manuellement
- Produire directement des sorties JSON conformes à un schéma pour les pipelines en aval
Tags
ai-scrapergraphllm