爬蟲開源：webBee－為樂趣而生的web垂直爬蟲框架
webBee 為樂趣而爬
-
webBee 基于 jdk8 是一個持續成長的 垂直爬蟲框架 項目
-
webBee 遵循 MIT 開源協議
-
webBee 是一個不錯的java進階項目
-
歡迎大家貢獻代碼，如果覺得這個項目不錯，請為它 點贊
演示站點
- http://gitrue.com (備案成功，開發中)
設計初衷
- 設計簡潔，面向接口
- 配置簡單，明了
- 一次配置，自動匹配
涉及技術棧
- httpcomponents
- jsoup
- redis
- 代理
- 多線程
即將完善的內容
- 分布式爬取
- 代理接口
- 通過配置智能尋找目標 url
- 圖片、視頻的處理
- 可對 熊貓tv 、 斗魚tv 等彈幕網站彈幕監聽分析
- 制作一個炫酷的官網實例
開源協議
項目主頁：http://www.baiduhome.net/lib/view/home/1492743208049
本文由用戶 XavNava 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！