爬蟲這類型程序典型特征是意外多，無法確保每次請求都是穩定的返回統一的結果，要提高健壯性，能對錯誤數據or超時or程序死鎖等都能進行處理，才能確保程序幾個月不停止。本項目乃長期維護github： ...

ELF - 面向開發者的靈活可擴展的 HTML5 構建工具，提供命令行工具 elf（基于 Webpack）， 無需構建配置文件并可進行開發 ，可用來制作各種 HTML5 場景營銷活動頁面，也可自...

隨著Web 2.0的發展，頁面中的AJAX也越來越多。由于傳統爬蟲依靠靜態分析，不能準確的抓取到頁面中的AJAX請求以及動態更新的內容，已經越來越不能滿足需求。基于動態解析的Web 2.0爬蟲應...

常在一個大型的 Web 項目中有很多監控，比如后端的服務 API 監控，接口存活、調用、延遲等監控，這些一般都用來監控后臺接口數據層面的信息。而且對于大型網站系統來說，從后端服務到前臺展示會有很...

PhantomJS是提供JavaScript API的可編程無頭瀏覽器（無圖形界面）。它非常適合頁面自動化和測試。其JavaScript API非常優秀，提供了許多高級功能，但同時也陷入了Jav...

通常在一個大型的 Web 項目中有很多監控系統，比如后端的服務 API 監控，接口存活、調用、延遲等監控，這些一般都用來監控后臺接口數據層面的信息。而且對于大型網站系統來說，從后端服務到前臺展示...

寫文章的時候經常需要插入圖片，插入現有的圖片很簡單，有時候制作一些優秀的網站列表的時候需要添加網頁截圖， 這個過程非常枯燥乏味，可以考慮開發一個命令行工具傳入一個url，然后生成頁面截圖。

雅虎在2006年就發布了一份提升Web站點響應速度的 最佳實踐指南 。該指南包含了35條規則，分為7個類別。這些規則已經被廣泛使用，并指導人們在新的站點設計時更有針對性的考慮問題。這份指南已經成...

以前寫爬蟲，遇到需要登錄的頁面，一般都是通過chrome的檢查元素，查看登錄需要的參數和加密方法，如果網站的加密非常復雜，例如登錄qq的，就會很蛋疼

PhantomJS是一個基于webkit的JavaScript API。它使用QtWebKit作為它核心瀏覽器的功能，使用webkit來編譯解釋執行JavaScript代碼。任何你可以在基于we...

最近一直在研究關于Headless browsers一些東西，最先接觸到的就是相當有名的 phantomJS ，無UI界面，基于WebKit內核，多用于在JS測試的一些方面，當然還有網絡監控，網...

PhantomJS 是一個基于 WebKit 的服務器端JavaScript API，它基于 BSD 開源協議發布。PhantomJS無需瀏覽器的支持即可實現對Web的支持，且原生支持各種Web...

最近需要爬取某網站，無奈頁面都是JS渲染后生成的，普通的爬蟲框架搞不定，于是想到用Phantomjs搭一個代理。 Python調用Phantomjs貌似沒有現成的第三方庫（如果有，請告知小2）...

前一段時間公司需要爬取部分web頁面的數據使用。但是頁面中的主要數據是ajax load出來的，傳統的抓取方法是拿不到數據的。后來在網上發現了phantomjs，在無界面的情況下運行js，渲染d...

注* PhantomJS 和 node-webkit 是基于Webkit實現的一套用Web技術實現跨平臺桌面程序應用的解決方案，PhantomJS此前多用于自動化測試方面。Node-Webkit...

phantomjs 是 一個基于js的webkit內核無頭瀏覽器 也就是沒有顯示界面的瀏覽器，這樣訪問網頁就省去了瀏覽器的界面繪制所消耗的系統資源，比較適合用于網絡測試等應用 。我只是調用了其中...

PhantomJS 是一個命令行工具，我們可以把它看作是無界面的 webkit 瀏覽器。 與界面版相比，它速度相當快，且原生支持多種 web 標準，如 DOM，CSS 選擇符，JSON，C...