Go 爬蟲軟件,Pholcus 0.6.0 發布

jopen 9年前發布 | 8K 次閱讀 Pholcus

Pholcus(幽靈蛛)是一款純Go語言編寫的重量級爬蟲軟件,清新的GUI界面,優雅的爬蟲規則、可控的高并發、任意的批量任務、多種輸出方式、大量Demo,支持橫縱向兩種抓取模式,支持模擬登錄和任務取消等,并且考慮了支持分布式布局。

Pholcus 0.6.0 發布,更新內容如下:

  1. 新增web操作界面(已支持web/gui/command三種界面);

  2. 支持運行模式熱切換。

  3. 下載器支持固定UserAgent,自動保存cookie模式;

  4. 下載器支持隨機大量常用UserAgent,禁用cookie模式;

  5. 下載器添加url自動轉碼功能;

  6. 優化app等模塊,接口對接更加靈活簡單。

更多內容請查看軟件主頁

下載:Source code (zip)


 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!