Smart and Simple Web Crawler是一個Web爬蟲框架。集成Lucene支持。該爬蟲可以從單個鏈接或一個鏈接數組開始，提供兩種遍歷模式：最大迭代和最大深度。可以設置過濾器限制爬回來的鏈接，默認提供三個過濾器ServerFilter、BeginningPathFilter和RegularExpressionFilter，這三個過濾器可用AND、OR和NOT聯合。在解析過程或頁面加載前后都可以加監聽器。
本文由用戶 碼頭工人自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！