輕量化易用網絡爬蟲Gecco v1.2.3 發布

jopen 8年前發布 | 14K 次閱讀 Gecco 爬蟲 Java

Gecco是一款用java語言開發的輕量化的易用的網絡爬蟲。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等優秀框架,讓您只需要配置一些jquery風格的選擇器就能很快的寫出一個爬蟲。Gecco框架有優秀的可擴展性,框架基于開閉原則進行設計,對修改關閉、對擴展開放。同時Gecco基于十分開放的MIT開源協議。

更新日志

1.增加proxysLoader,支持自定義代理ip加載,FileProxys代替Proxys
2.增加派生隊列和初始隊列上下文,DeriveSchedulerContext代替SchedulerContext,增加StartSchedulerContext提供初始化隊列運行時入隊機制
3.添加引擎生命周期監聽器(米林pull request)
4.刪除警告信息,帶有注解完善(米林pull request)
5.增加停止爬蟲engineStop()和是否開啟代理proxy()API
6.添加自定義注解和渲染支持(米林pull request)

下載

 

本站原創,轉載時保留以下信息:
本文轉自:深度開源(open-open.com)
原文地址:http://www.baiduhome.net/news/view/35a548ac

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!