Java分布式爬去：spider
spider
使用java+httpclient+httpcleaner，多線程、分布式爬去電商網站商品信息，數據存儲在hbase上，并使用solr對商品建立索引，使用redis隊列存儲一個共享的url倉庫；使用zookeeper對爬蟲節點生命周期進行監視等。
本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！