مفتوح المصدراستخلاص البيانات52k
Crawl4AI
زاحف ومستخرج ويب مفتوح المصدر وصديق لـ LLM، مصمم للوكلاء.
Crawl4AI هو زاحف ومستخرج Python مفتوح المصدر مصمم لإنتاج مخرجات صديقة لـ LLM، يولّد markdown نظيف واستخلاصات منظمة من صفحات الويب. يدعم الزحف غير المتزامن، وتصيير المتصفح headless، واستراتيجيات الاستخراج المعتمدة على LLM أو المخطط. يُعدّ من أكثر المشاريع مفتوحة المصدر نجوماً كبديل مجاني لإعداد بيانات الويب لـ pipelines الذكاء الاصطناعي.
المستودع
unclecode/crawl4aiاللغة
Pythonما الذي يمكنك بناؤه به
- زحف الصفحات وتحويلها إلى markdown لاستيعابها في LLM
- تشغيل مهام استخراج عالية الإنتاجية وغير متزامنة
- استخراج بيانات منظمة عبر استراتيجيات CSS/XPath أو LLM لـ RAG
الوسوم
crawlingllm-readyasync