Web爬蟲工具 NCrawler

openkk 12年前發布 | 27K 次閱讀 C# 網絡爬蟲

NCrawler 是一個Web Crawler 工具,它可以讓開發人員很輕松的發展出具有Web Crawler 能力的應用程式,并且具有可以延展的能力,讓開發人員可以擴充它的功能,以支援其他類型的資源(例如PDF /Word/Excel 等檔案或其他資料來源)。 NCrawler 使用多執行緒(Multi-threading)模式針對網路資源進行探索,并且會依照給定的步驟來處理抓取到的資源,然后依給定的資源來活動(像是寫入 資料庫或是擷取部份資料等等)。

項目主頁:http://www.baiduhome.net/lib/view/home/1334040187514

 本文由用戶 openkk 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!