Açık KaynakScraping22k
GPT Crawler
Bir siteyi tarayın ve özel GPT için bir bilgi dosyası oluşturun.
GPT Crawler, bir web sitesini başlangıç URL'sinden tarayarak çıkarılan içeriği özel bir GPT veya asistan için hazır tek bir bilgi dosyasında bir araya getiren Node.js aracıdır. Yapılandırılabilir seçiciler, eşleşme kalıpları ve sayfa sınırlarıyla arka planda Playwright kullanır. Kamuya açık belgelerden çalışır duruma getirilen RAG'a hazır bilgi tabanına giden yolu kısaltmasıyla öne çıkmaktadır.
Depo
BuilderIO/gpt-crawlerDil
TypeScriptBununla neler kurabilirsin
- Bir ürünün belgeler sitesine dayalı özel GPT veya asistan oluşturmak
- RAG alımı için birleştirilmiş bir bilgi dosyası oluşturmak
- Gömme için belgeleri temiz metin parçalarına kazımak
Etiketler
crawlingragknowledge-basellm