Åpen kildekodeSkraping22k
GPT Crawler
Crawla en sida och producera en kunskapsfil för en anpassad GPT.
GPT Crawler är ett Node.js-verktyg som crawlar en webbplats från en start-URL och sammanställer det extraherade innehållet till en enda kunskapsfil redo att driva en anpassad GPT eller assistent. Det använder Playwright under huven med konfigurerbara selektorer, matchningsmönster och sidgränser. Det utmärker sig för att effektivisera vägen från offentlig dokumentation till en fungerande RAG-redo kunskapsbas.
Kodelager
BuilderIO/gpt-crawlerSpråk
TypeScriptDet du kan bygge med den
- Bygga en anpassad GPT eller assistent grundad i en produkts dokumentationssajt
- Generera en samlad kunskapsfil för RAG-inmatning
- Skrapa dokumentation till rena textchunk:ar för embeddings
Tagger
crawlingragknowledge-basellm