مفتوح المصدراستخلاص البيانات22k
GPT Crawler
ازحف موقعاً وأنتج ملف معرفة لـ GPT مخصص.
GPT Crawler هو أداة Node.js تزحف موقعاً ابتداءً من URL معين وتجمع المحتوى المستخرج في ملف معرفة واحد جاهز لتشغيل GPT مخصص أو مساعد. يستخدم Playwright تحت الغطاء مع محددات ونمط مطابقة وحدود للصفحات قابلة للتهيئة. يتميز بتبسيط المسار من توثيق عام إلى قاعدة معرفة جاهزة لـ RAG.
المستودع
BuilderIO/gpt-crawlerاللغة
TypeScriptما الذي يمكنك بناؤه به
- بناء GPT مخصص أو مساعد مستند إلى موقع توثيق منتج
- توليد ملف معرفة موحد لاستيعاب RAG
- زحف التوثيق إلى أجزاء نصية نظيفة للتضمينات
الوسوم
crawlingragknowledge-basellm