Go 爬蟲軟件,Pholcus 0.7.3 發布
Pholcus(幽靈蛛)是一款純Go語言編寫的重量級爬蟲軟件,清新的GUI界面,優雅的爬蟲規則、可控的高并發、任意的批量任務、多種輸出方式、大量Demo,支持橫縱向兩種抓取模式,支持模擬登錄和任務取消等,并且考慮了支持分布式布局。
Pholcus 0.7.3 發布,更新內容如下:
全面升級
一、界面升級:
1. Windows下編譯時自動添加圖標
2. web及cmd版的命令行窗口添加軟件名稱
二、下載器相關升級:
1. 初步增加PhantomJS下載器,實現雙下載引擎,可在請求中指定
2. 下載控制轉移至Request中,從而下載更靈活
3. Request增加重定向跳轉次數控制功能
4. Request可以支持無限重載
5. Request增加序列化方法
6. 下載器實例改為全局唯一
三、規則語法升級:
1. 文本結果輸出方法改為Output(ruleName string, resp context.Response, item interface{})
2. 文件輸出方法建議用FileOutput(resp *context.Response, name ...string)
3. 更改解析函數Parse(resp *context.Response, ruleName ...string),ruleName為空時調用Root函數
4. OutFeild()方法改為IndexOutFeild()
5. Spider結構體新增CreatItem(ruleName string, item map[int]interface{}) map[string]interface{},將map索引自動轉換為OutFeild字段
6. Spider結構體新增代理服務器列表
6. AddQueue()接收Request參數,UseCookie改為EnableCookie
7. 規則方法庫中升級timer計時器
四、數據庫操作升級:
1. 優化更新mongodb操作方法庫
2. 數據庫連接池增加空閑連接定時回收
下載頁面:v0.7.3