Tüm açık kaynaklar
Açık KaynakScraping22k

GPT Crawler

Bir siteyi tarayın ve özel GPT için bir bilgi dosyası oluşturun.

GPT Crawler, bir web sitesini başlangıç URL'sinden tarayarak çıkarılan içeriği özel bir GPT veya asistan için hazır tek bir bilgi dosyasında bir araya getiren Node.js aracıdır. Yapılandırılabilir seçiciler, eşleşme kalıpları ve sayfa sınırlarıyla arka planda Playwright kullanır. Kamuya açık belgelerden çalışır duruma getirilen RAG'a hazır bilgi tabanına giden yolu kısaltmasıyla öne çıkmaktadır.

Depo

BuilderIO/gpt-crawler

Dil

TypeScript

Bununla neler kurabilirsin

  • Bir ürünün belgeler sitesine dayalı özel GPT veya asistan oluşturmak
  • RAG alımı için birleştirilmiş bir bilgi dosyası oluşturmak
  • Gömme için belgeleri temiz metin parçalarına kazımak

Etiketler

crawlingragknowledge-basellm