Açık KaynakScraping24k
Colly
Go için hızlı, deyimsel bir kazıma çerçevesi.
Colly, bağlantıları gezinmek ve veri çıkarmak için temiz geri çağırma tabanlı bir API sunan; Go için şimşek hızında, zarif bir kazıma ve tarama çerçevesidir. Paralel tarama, hız sınırlama, önbellekleme, proxy değiştirme destekler ve kutudan çıkar çıkmaz robots.txt'e uyar. Performansı ve minimal ayak iziyle yüksek verimli Go tabanlı tarayıcılarda popüler olmaktadır.
Depo
gocolly/collyDil
GoBununla neler kurabilirsin
- Go'nun eş zamanlılığının Python'u geçtiği yüksek verimli tarayıcılar oluşturmak
- Yerleşik hız sınırlama ve önbelleklemeyle yapılandırılmış web verisi toplamak
- Bir Go servisi veya veri hattına tarayıcı yerleştirmek
Etiketler
crawlingscrapinggoconcurrency