Go 爬蟲軟件,Pholcus 0.6.0 發布
Pholcus(幽靈蛛)是一款純Go語言編寫的重量級爬蟲軟件,清新的GUI界面,優雅的爬蟲規則、可控的高并發、任意的批量任務、多種輸出方式、大量Demo,支持橫縱向兩種抓取模式,支持模擬登錄和任務取消等,并且考慮了支持分布式布局。
Pholcus 0.6.0 發布,更新內容如下:
-
新增web操作界面(已支持web/gui/command三種界面);
-
支持運行模式熱切換。
-
下載器支持固定UserAgent,自動保存cookie模式;
-
下載器支持隨機大量常用UserAgent,禁用cookie模式;
-
下載器添加url自動轉碼功能;
-
優化app等模塊,接口對接更加靈活簡單。
更多內容請查看軟件主頁。
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!