PhantomJS實現最簡單的模擬登陸方案
以前寫爬蟲,遇到需要登錄的頁面,一般都是通過chrome的檢查元素,查看登錄需要的參數和加密方法,如果網站的加密非常復雜,例如登錄qq的,就會很蛋疼
在后面,有了Pyv8,就可以把加密的js文件扔給它,然后返回加密后的字符串。但是Pyv8只能安裝在Centos7的版本,而且耗用內存也比較大。
現在有了PhantomJS,再也不需要考慮登錄的參數和加密了,用PhantomJS打開頁面,通過JS或JQuery語句,填入賬號和密碼,然后點擊登陸,然后把Cookies保存下來,就可以模擬登陸了。
1.安裝
# yum -y install gcc gcc-c++ make flex bison gperf ruby \ openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \ libpng-devel libjpeg-devel # git clone git://github.com/ariya/phantomjs.git # cd phantomjs # git checkout 2.0 # ./build.sh
2.創建一個page實例
var page = require('webpage').create();
3.打開一個頁面
page.open('http://www.baidu.com', function() { });
第二個參數是打開頁面后回調的函數
4.執行js語句
page.evaluate(function() { $("button").click(); console.info($("button")) });
包裹在evaluate里面的js語句是在沙箱里面運行的,沙箱的上下文環境就是open的頁面的環境,所以在這里可以通過js語句訪問頁面的元素,例如 $("body").html()
由于在沙箱中執行,所以console.info不會輸出的終端,如果需要輸出到終端,就要設置回調函數:
page.onConsoleMessage = function(msg) { console.log(msg); };
5.cookies
獲取頁面的cookies
console.info(JSON.stringify(page.cookies))
cookies的數據結構,相當于 {"age":"12"} :
[ { "domain": "info.aaa.com", "httponly": false, "name": "age", "path": "/", "secure": false, "value": "12" } ]
6.截圖
page.viewportSize = { width: 1366, height: 600 };//設置頁面的尺寸 page.render('info_test.png');
如果截圖后,中文字符顯示為方框,安裝字體庫
yum install bitmap-fonts bitmap-fonts-cjk
7.腳本參數
var page = require('webpage').create(), system = require('system'), address, output, size; if (system.args.length != 5) { console.log('Usage: test.js domain username password projects screen_shot_path '); phantom.exit(1); } else { var domain = system.args[1] var username = system.args[2] var password = system.args[3] var projects = system.args[4] var root_shot_path = system.args[5] }
8.注意
- 由于js語言是非阻塞的,所以有時候需要使用 setTimtout setInterval 來等待沙箱中執行的js語句,例如等待里面的ajax完成等。
9.簡單的模擬登陸DEMO
var page = require('webpage').create(); page.viewportSize = { width: 1366, height: 600 }; var url='http://www.mysite.com/login' page.open(url, function() { ret=page.evaluate(function() { $("#username")[0].value='lujianxing' $("#password")[0].value='test' $("#submit").click(); }); setTimeout('print_cookies()',10000) }); function print_cookies(){ console.info(JSON.stringify(page.cookies, undefined, 4)) phantom.exit() }
10.命令行運行腳本
phantomjs test.js
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!