Tüm açık kaynaklar
Açık KaynakScraping24k

Colly

Go için hızlı, deyimsel bir kazıma çerçevesi.

Colly, bağlantıları gezinmek ve veri çıkarmak için temiz geri çağırma tabanlı bir API sunan; Go için şimşek hızında, zarif bir kazıma ve tarama çerçevesidir. Paralel tarama, hız sınırlama, önbellekleme, proxy değiştirme destekler ve kutudan çıkar çıkmaz robots.txt'e uyar. Performansı ve minimal ayak iziyle yüksek verimli Go tabanlı tarayıcılarda popüler olmaktadır.

Depo

gocolly/colly

Dil

Go

Bununla neler kurabilirsin

  • Go'nun eş zamanlılığının Python'u geçtiği yüksek verimli tarayıcılar oluşturmak
  • Yerleşik hız sınırlama ve önbelleklemeyle yapılandırılmış web verisi toplamak
  • Bir Go servisi veya veri hattına tarayıcı yerleştirmek

Etiketler

crawlingscrapinggoconcurrency