Go 爬蟲軟件,Pholcus 0.7.3 發布

jopen 9年前發布 | 5K 次閱讀 Pholcus

Pholcus(幽靈蛛)是一款純Go語言編寫的重量級爬蟲軟件,清新的GUI界面,優雅的爬蟲規則、可控的高并發、任意的批量任務、多種輸出方式、大量Demo,支持橫縱向兩種抓取模式,支持模擬登錄和任務取消等,并且考慮了支持分布式布局。

Pholcus 0.7.3 發布,更新內容如下:

全面升級
一、界面升級:
1. Windows下編譯時自動添加圖標
2. web及cmd版的命令行窗口添加軟件名稱

二、下載器相關升級:
1. 初步增加PhantomJS下載器,實現雙下載引擎,可在請求中指定
2. 下載控制轉移至Request中,從而下載更靈活
3. Request增加重定向跳轉次數控制功能
4. Request可以支持無限重載
5. Request增加序列化方法
6. 下載器實例改為全局唯一

三、規則語法升級:
1. 文本結果輸出方法改為Output(ruleName string, resp context.Response, item interface{})
2. 文件輸出方法建議用FileOutput(resp *context.Response, name ...string)
3. 更改解析函數Parse(resp *context.Response, ruleName ...string),ruleName為空時調用Root函數
4. OutFeild()方法改為IndexOutFeild()
5. Spider結構體新增CreatItem(ruleName string, item map[int]interface{}) map[string]interface{},將map索引自動轉換為OutFeild字段
6. Spider結構體新增代理服務器列表
6. AddQueue()接收
Request參數,UseCookie改為EnableCookie
7. 規則方法庫中升級timer計時器

四、數據庫操作升級:
1. 優化更新mongodb操作方法庫
2. 數據庫連接池增加空閑連接定時回收

下載頁面:v0.7.3


 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!