爬蟲入門到精通-headers的詳細講解（模擬登錄知乎）
本次我們實現如何模擬登陸知乎。
1.抓包
首先打開知乎登錄頁 知乎 - 與世界分享你的知識、經驗和見解
注意打開開發者工具后點擊“preserve log”，密碼記得故意輸入錯誤，然后點擊登錄
我們很簡單的就找到了 我們需要的請求
_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:admin@wuaics.cn
可以看到請求一共有三個參數
email 和password就是我們需要登錄的賬號及密碼
那么_xsrf是什么？我們在哪能找到？
像“_xsrf”這種參數，一般叫做頁面校檢碼，是來檢查你是否是從正常的登錄頁面過來的。
那我們復制這個值，在登錄頁面找找看。
//input[@name="_xsrf"]/@value
所以，本次登錄我們需要得到的數據已經都得到了
步驟如下：
-
打開知乎登錄頁面，獲取_xsrf
-
把_xsrf和自己的賬號及密碼一起發送（模擬登錄）
2.模擬登錄
import requests
url = 'https://www.zhihu.com/#signin'
z = requests.get(url)
print z.status_code
我們會看到 http狀態碼為500...
至于為什么會返回500狀態碼呢？是因為我們用程序來訪問知乎被發現了...
我們偽裝成瀏覽器，添加一行
可以看到返回正常了，http狀態碼為200 (這就是headers的作用)
那我們現在獲取_xsrf
from lxml import etree
sel = etree.HTML(z1.content)
# 這個xsrf怎么獲取 我們上面有講到
_xsrf = sel.xpath('//input[@name="_xsrf"]/@value')[0]
然后模擬登錄
loginurl = 'https://www.zhihu.com/login/email'
# 這里的_xsrf就是我們剛剛上面得到的
formdata = {
'email':'admin@wuaics.cn',
'password':'你的密碼',
'_xsrf':_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
#200
print z2.content
# '{"r":0,\n "msg": "\\u767b\\u5f55\\u6210\\u529f"\n}'
print z2.json()['msg']
# 登陸成功
可以看到已經模擬登錄并成功了。
那我們來打開 知乎 - 與世界分享你的知識、經驗和見解 來檢查下 是否有登錄成功
# 為什么用這個頁面呢？
# 因為這個頁面只有登錄后才能看得到，如果沒有登錄的話 會自動跳轉讓你登錄的
mylog = 'https://www.zhihu.com/people/pa-chong-21/logs'
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u'https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs'
發現頁面url是 ( https://www.zhihu.com/?next=%...
并不是 我前面輸入的 ( https://www.zhihu.com/people/...
說明知乎判斷我們沒有登錄，然后把我們跳轉到登錄頁面了.
如果感興趣的話，可以把z3.text 的返回值存為123.html，然后打開看看，是不是跳轉到登錄頁面了..
那么為什么會跳到登錄頁面呢？剛剛不是已經登錄成功了么？
這是因為，我們這幾個模擬請求，相互間都是獨立的，所以z2登錄成功了，和z3并沒有什么關系。
那如果我現在想要z3不用再模擬登錄一次，也能登錄的話，怎么辦呢？
我們可以把z2登錄成功后得到的cookie給z3,這樣，z3也就能登錄成功了.
用程序實現
再次判斷下是否登錄成功。
z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u'https://www.zhihu.com/people/pa-chong-21/logs'
我們可以看到已經正常訪問了。說明我們登錄成功了
所以，以后只要你帶著這個cookie，就可以訪問登錄后的頁面了. (這就是cookie的作用..)
最后附上一個小技巧.
當你需要登錄，或者說你需要在一段會話中操作（也就是我們上面的操作）
會話對象 高級用法 - Requests 2.10.0 文檔
會話對象讓你能夠跨請求保持某些參數。它也會在同一個 Session 實例發出的所有請求之間保持 cookie， 期間使用 urllib3 的 connection pooling 功能。所以如果你向同一主機發送多個請求，底層的 TCP 連接將會被重用，從而帶來顯著的性能提升。
使用會話后，我們上面的代碼可以改成這樣
可以看到我們沒有把cookie傳過去，但是還是登錄成功了，這是因為session會自動幫你處理這些，會自動幫你管理cookie
我們可以打印看下我們請求的headers
可以看到headers里面自動加上了cookie
最后再次總結一下
看完本篇文章后，你應該要
-
能理解User-Agent,cookie的作用
-
了解requests中的session用法
-
了解如何模擬登錄一個網頁
來自：https://segmentfault.com/a/1190000009111635