All åpen kildekode
Åpen kildekodeSkraping22k

GPT Crawler

Crawla en sida och producera en kunskapsfil för en anpassad GPT.

GPT Crawler är ett Node.js-verktyg som crawlar en webbplats från en start-URL och sammanställer det extraherade innehållet till en enda kunskapsfil redo att driva en anpassad GPT eller assistent. Det använder Playwright under huven med konfigurerbara selektorer, matchningsmönster och sidgränser. Det utmärker sig för att effektivisera vägen från offentlig dokumentation till en fungerande RAG-redo kunskapsbas.

Kodelager

BuilderIO/gpt-crawler

Språk

TypeScript

Det du kan bygge med den

  • Bygga en anpassad GPT eller assistent grundad i en produkts dokumentationssajt
  • Generera en samlad kunskapsfil för RAG-inmatning
  • Skrapa dokumentation till rena textchunk:ar för embeddings

Tagger

crawlingragknowledge-basellm