Pholcus 爬蟲 v0.8.0，支持 HTML 風格動態規則

近日，Pholcus 升級 v0.8.0 版本了，最大的亮點就是：終于突破規則需要靜態編譯的局制，增加支持HTML風格的動態規則。以后交流分享規則變得更加方便，隨之而來將會是愈加完善的生態圈。

以下是具體更新內容：

一、初步支持HTML風格的動態規則

二、添加配置文件，便于修改數據庫配置等信息

三、重新規劃軟件依賴文件目錄

├─pholcus 軟件
│
├─pholcus 依賴文件目錄
│  ├─pholcus.ini 配置文件
│  │
│  ├─proxy.lib 代理IP列表庫
│  │
│  ├─spider.lib 動態規則目錄
│  │  └─xxx.pholcus.html 動態規則文件
│  │
│  ├─phantomjs 程序文件
│  │
│  ├─logs 日志目錄
│  │
│  ├─history 歷史記錄目錄
│  │
└─└─cache 臨時緩存目錄


四、增強代理IP功能


五、增強狀態控制功能


六、為Spider結構體添加定時器


七、增強Request結構體序列化與反序列化的可靠性


八、Web界面的外部資源文件全部打包進軟件


九、更新下載器Surfer至0.9版本，性能更佳

來自： http://www.oschina.net//news/70039/pholcus-0-8-0