C#開發網絡爬蟲程序：NWebCrawler

jopen 12年前發布 | 72K 次閱讀 爬蟲 網絡爬蟲

NWebCrawler是一款開源，C#開發網絡爬蟲程序。
特性：

  • 可配置：線程數，等待時間，連接超時，允許MIME類型和優先級，下載文件夾。
  • 統計信息：URL數量，總下載文件，總下載字節數，CPU利用率和可用內存。
  • Preferential crawler：用戶可以設置優先級的MIME類型。
  • Robust: 10+ URL normalization rules, crawler trap avoiding rules.

C#開發網絡爬蟲程序：NWebCrawler

項目主頁：http://www.baiduhome.net/lib/view/home/1350117470448

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！