爬蟲入門到精通-headers的詳細講解（模擬登錄知乎）

changfeng1050 發布于2019-07-25 11:47 / 2698人閱讀

摘要：本文章屬于爬蟲入門到精通系統教程第七講直接開始案例吧。本次我們實現如何模擬登陸知乎。

本文章屬于爬蟲入門到精通系統教程第七講

直接開始案例吧。

本次我們實現如何模擬登陸知乎。

1.抓包

首先打開知乎登錄頁知乎 - 與世界分享你的知識、經驗和見解

注意打開開發者工具后點擊“preserve log”，密碼記得故意輸入錯誤，然后點擊登錄

我們很簡單的就找到了我們需要的請求

_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:admin@wuaics.cn

可以看到請求一共有三個參數

email 和password就是我們需要登錄的賬號及密碼

那么_xsrf是什么？我們在哪能找到？

像“_xsrf”這種參數，一般叫做頁面校檢碼，是來檢查你是否是從正常的登錄頁面過來的。

那我們復制這個值，在登錄頁面找找看。

//input[@name="_xsrf"]/@value

所以，本次登錄我們需要得到的數據已經都得到了

步驟如下：

打開知乎登錄頁面，獲取_xsrf

把_xsrf和自己的賬號及密碼一起發送（模擬登錄）

2.模擬登錄

import requests

url = "https://www.zhihu.com/#signin"
z = requests.get(url)
print z.status_code

我們會看到 http狀態碼為500...

至于為什么會返回500狀態碼呢？是因為我們用程序來訪問知乎被發現了...

我們偽裝成瀏覽器，添加一行

可以看到返回正常了，http狀態碼為200(這就是headers的作用)

那我們現在獲取_xsrf

from lxml import etree
sel = etree.HTML(z1.content)
# 這個xsrf怎么獲取 我們上面有講到
_xsrf = sel.xpath("http://input[@name="_xsrf"]/@value")[0]

然后模擬登錄

loginurl = "https://www.zhihu.com/login/email"
# 這里的_xsrf就是我們剛剛上面得到的
formdata = {
    "email":"admin@wuaics.cn",
    "password":"你的密碼",
    "_xsrf":_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
 #200
print z2.content
# "{"r":0,
 "msg": "u767bu5f55u6210u529f"
}"
print z2.json()["msg"]
# 登陸成功

可以看到已經模擬登錄并成功了。

那我們來打開知乎 - 與世界分享你的知識、經驗和見解來檢查下是否有登錄成功

# 為什么用這個頁面呢？
# 因為這個頁面只有登錄后才能看得到，如果沒有登錄的話 會自動跳轉讓你登錄的
mylog = "https://www.zhihu.com/people/pa-chong-21/logs"
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u"https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs"

發現頁面url是 (https://www.zhihu.com/?next=%...

并不是我前面輸入的 (https://www.zhihu.com/people/...

說明知乎判斷我們沒有登錄，然后把我們跳轉到登錄頁面了.

如果感興趣的話，可以把z3.text 的返回值存為123.html，然后打開看看，是不是跳轉到登錄頁面了..

那么為什么會跳到登錄頁面呢？剛剛不是已經登錄成功了么？

這是因為，我們這幾個模擬請求，相互間都是獨立的，所以z2登錄成功了，和z3并沒有什么關系。

那如果我現在想要z3不用再模擬登錄一次，也能登錄的話，怎么辦呢？

我們可以把z2登錄成功后得到的cookie給z3,這樣，z3也就能登錄成功了.

用程序實現

再次判斷下是否登錄成功。

z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u"https://www.zhihu.com/people/pa-chong-21/logs"

我們可以看到已經正常訪問了。說明我們登錄成功了

所以，以后只要你帶著這個cookie，就可以訪問登錄后的頁面了.(這就是cookie的作用..)

最后附上一個小技巧.

當你需要登錄，或者說你需要在一段會話中操作（也就是我們上面的操作）

會話對象高級用法 - Requests 2.10.0 文檔

會話對象讓你能夠跨請求保持某些參數。它也會在同一個 Session 實例發出的所有請求之間保持 cookie，期間使用 urllib3 的 connection pooling 功能。所以如果你向同一主機發送多個請求，底層的 TCP 連接將會被重用，從而帶來顯著的性能提升。 (參見 HTTP persistent connection).

使用會話后，我們上面的代碼可以改成這樣

可以看到我們沒有把cookie傳過去，但是還是登錄成功了，這是因為session會自動幫你處理這些，會自動幫你管理cookie

我們可以打印看下我們請求的headers

可以看到headers里面自動加上了cookie

最后所有的代碼都在kimg1234/pachong

最后再次總結一下

看完本篇文章后，你應該要

能理解User-Agent,cookie的作用

了解requests中的session用法

了解如何模擬登錄一個網頁

如果你對requests這個庫不太熟悉的話，你可以在快速上手 - Requests 2.10.0 文檔瀏覽。

GPU云服務器云服務器精通android入門到精通前端入門到精通 webrtc入門到精通物聯網入門到精通

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/38609.html

爬蟲入門到精通-網頁的下載

摘要：網頁的下載本文章屬于爬蟲入門到精通系統教程第四講在爬蟲入門到精通第二講中，我們了解了協議，那么我們現在使用這些協議來快速爬蟲吧本文的目標當你看完本文后，你應該能爬取幾乎任何的網頁使用抓包抓包就是將網絡傳輸發送與接收的數據包進行截獲重發編輯轉網頁的下載本文章屬于爬蟲入門到精通系統教程第四講在爬蟲入門到精通第二講中，我們了解了HTTP協議，那么我們現在使用這些協議來快速爬蟲吧本文的...

JerryZou 2019-07-25 11:46 評論0 收藏0
爬蟲入門到精通-HTTP協議的講解

摘要：協議的講解本文章屬于爬蟲入門到精通系統教程第三講什么是協議引用自維基百科超文本傳輸協議英文，縮寫是互聯網上應用最為廣泛的一種網絡協議。通過或者協議請求的資源由統一資源標識符，來標識。假定其下層協議提供可靠的傳輸。 HTTP協議的講解本文章屬于爬蟲入門到精通系統教程第三講什么是HTTP協議？引用自維基百科超文本傳輸協議（英文：HyperText Transfer Protoco...

Towers 2019-07-25 11:44 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
Chrome開發者工具，爬蟲必備，解決一半的問題

摘要：但這邊特別提醒的是里看到的代碼不等于請求網址拿到的返回值。這個文件包含了列表中所有請求的各項參數及返回值信息，以便你查找分析。理解了這幾步，大部分網上的數據都可以拿到，說解決一半的問題可不是標題黨。網上爬蟲的教程實在太多了，知乎上搜一下，估計能找到不下一百篇。大家樂此不疲地從互聯網上抓取著一個又一個網站。但只要對方網站一更新，很可能文章里的方法就不再有效了。每個網站抓取的代碼各不相...

jiekechoo 2019-07-30 18:33 評論0 收藏0
Python3網絡爬蟲實戰---25、requests：高級用法

摘要：比如我們以知乎為例，直接利用來維持登錄狀態。測試后，發現同樣可以正常登錄知乎。上一篇文章網絡爬蟲實戰基本使用下一篇文章網絡爬蟲實戰正則表達式上一篇文章：Python3網絡爬蟲實戰---24、requests：基本使用下一篇文章：Python3網絡爬蟲實戰---26、正則表達式在前面一節我們了解了 Requests 的基本用法，如基本的 GET、POST 請求以及 Response...

dingding199389 2019-07-31 10:35 評論0 收藏0