Pholcus 0.5.1 發布，Go 爬蟲軟件

Pholcus 0.5.1 發布，更新內容如下：

1. 添加mysql輸出；

2. 簡化添加輸出方式的步驟；

3. 優化json字符串輸出；

4. 改進調度器，提升縱向抓取效率；

5. 修復因第三方包walk的更新導致單機模式無法啟動的問題；

6. 添加簡單的單機模式命令行操作；

7. 其他一些小的改進。

更多內容請查看軟件主頁。

下載地址：

• Source code (zip)

• Source code (tar.gz)

Pholcus（幽 靈蛛）是一款純Go語言編寫的重量級爬蟲軟件，清新的GUI界面，優雅的爬蟲規則、可控的高并發、任意的批量任務、多種輸出方式、大量Demo，更重要的 是它支持socket長連接、全雙工并發分布式，支持橫縱向兩種抓取模式，支持模擬登錄和任務取消等！

框架模塊

框架特點

1. Pholcus（幽靈蛛）以高效率，高靈活性和人性化設計為開發的指導思想；

2. 繼承Go語言“少即是多”的風格，GUI界面盡量少得呈現技術層面的參數配置，而在程序內部做智能化參數調控；

3. 對采集規則進行了精心設計，結構化規則、高度封裝、通用方法集、自由靈活的發揮空間，讓你輕松添加規則；

4. 每個pholcus程序既可以是服務器也可以是客戶端，通過socket傳遞request來實現任務分發，其中hpolcus模塊充當管理核心的角色， 負責分發給其他節點和本地隊列請求以及實時log，比如，讓Pholcus軟件同時在10臺電腦運行，你就擁有了10個節點，自然形成分布式。

5. 支持橫縱向兩種抓取模式，并支持任務取消操作。