摘要:比如我們以知乎為例,直接利用來維持登錄狀態。測試后,發現同樣可以正常登錄知乎。上一篇文章網絡爬蟲實戰基本使用下一篇文章網絡爬蟲實戰正則表達式
上一篇文章:Python3網絡爬蟲實戰---24、requests:基本使用
下一篇文章:Python3網絡爬蟲實戰---26、正則表達式
在前面一節我們了解了 Requests 的基本用法,如基本的 GET、POST 請求以及 Response 對象的用法,本節我們再來了解下 Requests 的一些高級用法,如文件上傳,代理設置,Cookies 設置等等。
1. 文件上傳我們知道 Reqeuests 可以模擬提交一些數據,假如有的網站需要我們上傳文件,我們同樣可以利用它來上傳,實現非常簡單,實例如下:
import requests files = {"file": open("favicon.ico", "rb")} r = requests.post("http://httpbin.org/post", files=files) print(r.text)
在上面一節中我們下載保存了一個文件叫做 favicon.ico,這次我們用它為例來模擬文件上傳的過程。需要注意的是,favicon.ico 這個文件需要和當前腳本在同一目錄下。如果有其它文件,當然也可以使用其它文件來上傳,更改下名稱即可。
運行結果如下:
{ ? "args": {}, ? "data": "", ? "files": { ??? "file": "data:application/octet-stream;base64,AAAAAA...=" ? }, ? "form": {}, ? "headers": { ??? "Accept": "*/*", ??? "Accept-Encoding": "gzip, deflate", ??? "Content-Length": "6665", ??? "Content-Type": "multipart/form-data; boundary=809f80b1a2974132b133ade1a8e8e058", ??? "Host": "httpbin.org", ??? "User-Agent": "python-requests/2.10.0" ? }, ? "json": null, ? "origin": "60.207.237.16", ? "url": "http://httpbin.org/post" }
以上部分內容省略,這個網站會返回一個 Response,里面包含 files 這個字段,而 form 是空的,這證明文件上傳部分會多帶帶有一個 files 字段來標識。
2. Cookies在前面我們使用了 Urllib 處理過 Cookies,寫法比較復雜,而有了 Requests,獲取和設置 Cookies 只需要一步即可完成。
我們先用一個實例感受一下獲取 Cookies 的過程:
import requests r = requests.get("https://www.baidu.com") print(r.cookies) for key, value in r.cookies.items(): ??? print(key + "=" + value)
運行結果如下:
‘’‘
BDORZ=27315
’‘’
首先我們調用了 cookies 屬性即可成功得到了 Cookies,可以發現它是一個 RequestCookieJar 類型,然后我們用 items() 方法將其轉化為元組組成的列表,遍歷輸出每一個 Cookie 的名和值,實現 Cookies 的遍歷解析。
當然,我們也可以直接用 Cookies 來維持登錄狀態。
比如我們以知乎為例,直接利用 Cookies 來維持登錄狀態。
首先登錄知乎,將 Headers 中的 Cookies 復制下來,如圖 3-6 所示:
圖 3-6 Cookies
這里可以替換成你自己的 Cookies,將其設置到 Headers 里面,發送 Request,示例如下:
import requests headers = { ??? "Cookie": "q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0", ??? "Host": "www.zhihu.com", ??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36", } r = requests.get("https://www.zhihu.com", headers=headers) print(r.text)
發現結果中包含了登錄后的結果,如圖 3-7 所示:
圖 3-7 運行結果
證明登錄成功。
當然也可以通過 cookies 參數來設置,不過這樣就需要構造 RequestsCookieJar 對象,而且需要分割一下 Cookies ,相對繁瑣,不過效果是相同的,實例如下:
import requests cookies = "q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0" jar = requests.cookies.RequestsCookieJar() headers = { ??? "Host": "www.zhihu.com", ??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36" } for cookie in cookies.split(";"): ??? key, value = cookie.split("=", 1) ??? jar.set(key, value) r = requests.get("http://www.zhihu.com", cookies=jar, headers=headers) print(r.text)
上面我們首先新建了一個 RequestCookieJar 對象,然后將復制下來的 Cookies 利用 split() 方法分割,利用 set() 方法設置好每一個 Cookie 的 key 和 value,然后通過調用 Requests 的 get() 方法并傳遞給 cookies 參數即可,當然由于知乎本身的限制, headers 參數也不能少,只不過不需要在原來的 headers 參數里面設置 Cookie 字段了。
測試后,發現同樣可以正常登錄知乎。
在 Requests 中,我們如果直接利用 get() 或 post() 等方法的確可以做到模擬網頁的請求。但是這實際上是相當于不同的會話,即不同的 Session,也就是說相當于你用了兩個瀏覽器打開了不同的頁面。
設想這樣一個場景,我們第一個請求利用了 post() 方法登錄了某個網站,第二次想獲取成功登錄后的自己的個人信息,你又用了一次 get() 方法去請求個人信息頁面。實際上,這相當于打開了兩個瀏覽器,是兩個完全不相關的會話,能成功獲取個人信息嗎?那當然不能。
有小伙伴可能就說了,我在兩次請求的時候都設置好一樣的 Cookies 不就行了?可以,但這樣做起來還是顯得很繁瑣,我們還有更簡單的解決方法。
其實解決這個問題的主要方法就是維持同一個會話,也就是相當于打開一個新的瀏覽器選項卡而不是新開一個瀏覽器。但是我又不想每次設置 Cookies,那該怎么辦?這時候就有了新的利器 Session對象。
利用它,我們可以方便地維護一個會話,而且不用擔心 Cookies 的問題,它會幫我們自動處理好。
下面用一個實例來感受一下:
import requests requests.get("http://httpbin.org/cookies/set/number/123456789") r = requests.get("http://httpbin.org/cookies") print(r.text)
在實例中我們請求了一個測試網址:http://httpbin.org/cookies/se...,請求這個網址我們可以設置一個 Cookie,名稱叫做 number,內容是 123456789,隨后又請求了http://httpbin.org/cookies,此網址可以獲取當前的 Cookies。
這樣能成功獲取到設置的 Cookies 嗎?試試看。
運行結果如下:
{ ? "cookies": {} }
并不行。我們再用 Session 試試看:
import requests s = requests.Session() s.get("http://httpbin.org/cookies/set/number/123456789") r = s.get("http://httpbin.org/cookies") print(r.text)
看下運行結果:
{ ? "cookies": { ??? "number": "123456789" ? } }
成功獲取!這下能體會到同一個會話和不同會話的區別了吧?
所以,利用 Session 我們可以做到模擬同一個會話,而且不用擔心 Cookies 的問題,通常用于模擬登錄成功之后再進行下一步的操作。
Session 在平常用到的非常廣泛,可以用于模擬在一個瀏覽器中打開同一站點的不同頁面,在后文會有專門的章節來講解這部分內容。
Requests 提供了證書驗證的功能,當發送 HTTP 請求的時候,它會檢查 SSL 證書,我們可以使用 verify 這個參數來控制是否檢查此證書,其實如果不加的話默認是 True,會自動驗證。
在前面我們提到過 12306 的證書實際上是不被官方認可的,會出現證書驗證錯誤的結果,我們現在訪問它都可以看到一個證書問題的頁面,如圖 3-8 所示:
圖 3-8 錯誤頁面
現在我們用 Requests 來測試一下:
import requests response = requests.get("https://www.12306.cn") print(response.status_code)
運行結果如下:
requests.exceptions.SSLError: ("bad handshake: Error([("SSL routines", "tls_process_server_certificate", "certificate verify failed")],)",)
提示一個錯誤,叫做 SSLError,證書驗證錯誤。所以如果我們請求一個 HTTPS 站點,但是證書驗證錯誤的頁面時,就會報這樣的錯誤,那么如何避免這個錯誤呢?很簡單,把 verify 這個參數設置為 False 即可。
改成如下代碼:
import requests response = requests.get("https://www.12306.cn", verify=False) print(response.status_code)
這樣,就會打印出請求成功的狀態碼。
/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings ? InsecureRequestWarning) 200
不過發現報了一個警告,它提示建議讓我們給它指定證書。
我們可以通過設置忽略警告的方式來屏蔽這個警告:
import requests from requests.packages import urllib3 urllib3.disable_warnings() response = requests.get("https://www.12306.cn", verify=False) print(response.status_code)
或者通過捕獲警告到日志的方式忽略警告:
import logging import requests logging.captureWarnings(True) response = requests.get("https://www.12306.cn", verify=False) print(response.status_code)
當然我們也可以指定一個本地證書用作客戶端證書,可以是單個文件(包含密鑰和證書)或一個包含兩個文件路徑的元組。
import requests response = requests.get("https://www.12306.cn", cert=("/path/server.crt", "/path/key")) print(response.status_code)
當然上面代碼是實例,我們需要有 crt 和 key 文件,指定它們的路徑。注意本地私有證書的 key 必須要是解密狀態,加密狀態的 key 是不支持的。
5. 代理設置對于某些網站,在測試的時候請求幾次,能正常獲取內容。但是一旦開始大規模爬取,對于大規模且頻繁的請求,網站可能會直接登錄驗證,驗證碼,甚至直接把IP給封禁掉。
那么為了防止這種情況的發生,我們就需要設置代理來解決這個問題,在 Requests 中需要用到 proxies 這個參數。
可以用這樣的方式設置:
import requests proxies = { ? "http": "http://10.10.1.10:3128", ? "https": "http://10.10.1.10:1080", } requests.get("https://www.taobao.com", proxies=proxies)
當然直接運行這個實例可能不行,因為這個代理可能是無效的,請換成自己的有效代理試驗一下。
若代理需要使用 HTTP Basic Auth,可以使用類似 http://user:password@host:port 這樣的語法來設置代理。
實例如下:
import requests proxies = { ??? "https": "http://user:password@10.10.1.10:3128/", } requests.get("https://www.taobao.com", proxies=proxies)
除了基本的 HTTP 代理,Requests 還支持 SOCKS 協議的代理。
首先需要安裝 Socks 這個庫,命令如下:
pip3 install "requests[socks]"
然后就可以使用 SOCKS 協議代理了,實例如下:
import requests proxies = { ??? "http": "socks5://user:password@host:port", ??? "https": "socks5://user:password@host:port" } requests.get("https://www.taobao.com", proxies=proxies)6. 超時設置
在本機網絡狀況不好或者服務器網絡響應太慢甚至無響應時,我們可能會等待特別久的時間才可能會收到一個響應,甚至到最后收不到響應而報錯。為了防止服務器不能及時響應,我們應該設置一個超時時間,即超過了這個時間還沒有得到響應,那就報錯。
設置超時時間需要用到 timeout 參數。這個時間的計算是發出 Request 到服務器返回 Response 的時間。
下面用一個實例來感受一下:
import requests r = requests.get("https://www.taobao.com", timeout=1) print(r.status_code)
通過這樣的方式,我們可以將超時時間設置為 1 秒,如果 1 秒內沒有響應,那就拋出異常。
實際上請求分為兩個階段,即 connect(連接)和 read(讀取)。
上面的設置 timeout 值將會用作 connect 和 read 二者的 timeout 總和。
如果要分別指定,就可以傳入一個元組:
r = requests.get("https://www.taobao.com", timeout=(5, 11))
如果想永久等待,那么我們可以直接將 timeout 設置為 None,或者不設置直接留空,因為默認是 None。這樣的話,如果服務器還在運行,但是響應特別慢,那就慢慢等吧,它永遠不會返回超時錯誤的。
用法如下:
r = requests.get("https://www.taobao.com", timeout=None)
或直接不加參數:
r = requests.get("https://www.taobao.com")7. 身份認證
在訪問網站時,我們可能會遇到這樣的認證頁面,如圖 3-9 所示:
圖 3-9 認證頁面
如果遇到這樣的網站驗證,可以使用 Requests 自帶的身份認證功能,實例如下:
import requests from requests.auth import HTTPBasicAuth r = requests.get("http://localhost:5000", auth=HTTPBasicAuth("username", "password")) print(r.status_code)
如果用戶名和密碼正確的話,請求時就會自動認證成功,會返回 200 狀態碼,如果認證失敗,則會返回 401 狀態碼。
當然如果參數都傳一個 HTTPBasicAuth 類,就顯得有點繁瑣了,所以 Requests 提供了一個更簡單的寫法,可以直接傳一個元組,它會默認使用 HTTPBasicAuth 這個類來認證。
所以上面的代碼可以直接簡寫如下:
import requests r = requests.get("http://localhost:5000", auth=("username", "password")) print(r.status_code)
運行效果和上面的是一樣的。
Requests 還提供了其他的認證方式,如 OAuth 認證,不過需要安裝 oauth 包,命令如下:
pip3 install requests_oauthlib
使用 OAuth1 認證的方法如下:
import requests from requests_oauthlib import OAuth1 url = "https://api.twitter.com/1.1/account/verify_credentials.json" auth = OAuth1("YOUR_APP_KEY", "YOUR_APP_SECRET", ????????????? "USER_OAUTH_TOKEN", "USER_OAUTH_TOKEN_SECRET") requests.get(url, auth=auth)
更多詳細的功能就可以參考 requests_oauthlib 的官方文檔:https://requests-oauthlib.rea...,在此就不再贅述了。
8. Prepared Request在前面介紹 Urllib 時我們可以將 Request 表示為一個數據結構,Request 的各個參數都可以通過一個 Request 對象來表示,在 Requests 里面同樣可以做到,這個數據結構就叫 Prepared Request。
我們用一個實例感受一下:
from requests import Request, Session url = "http://httpbin.org/post" data = { ??? "name": "germey" } headers = { ??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36" } s = Session() req = Request("POST", url, data=data, headers=headers) prepped = s.prepare_request(req) r = s.send(prepped) print(r.text)
在這里我們引入了 Request,然后用 url、data、headers 參數構造了一個 Request 對象,這時我們需要再調用 Session 的 prepare_request() 方法將其轉換為一個 Prepared Request 對象,然后調用 send() 方法發送即可,運行結果如下:
{ ? "args": {}, ? "data": "", ? "files": {}, ? "form": { ??? "name": "germey" ? }, ? "headers": { ??? "Accept": "*/*", ??? "Accept-Encoding": "gzip, deflate", ??? "Connection": "close", ??? "Content-Length": "11", ??? "Content-Type": "application/x-www-form-urlencoded", ??? "Host": "httpbin.org", ??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36" ? }, ? "json": null, ? "origin": "182.32.203.166", ? "url": "http://httpbin.org/post" }
可以看到我們達到了同樣的 POST 請求效果。
有了 Request 這個對象,我們就可以將一個個請求當做一個獨立的對象來看待,這樣在進行隊列調度的時候會非常方便,后面我們會有一節使用它來構造一個 Request 隊列。
本節講解了 Requests 的一些高級用法,這些用法在后面實戰部分會經常用到,需要熟練掌握。
更多的用法可以參考 Requests 的官方文檔:http://docs.python-requests.org/。
上一篇文章:Python3網絡爬蟲實戰---24、requests:基本使用
下一篇文章:Python3網絡爬蟲實戰---26、正則表達式
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/44066.html
摘要:下面我們傳入多個參數構建一個來感受一下在這里我們通過四個參數構造了一個,即請求,在中指定了和,傳遞的參數用了和方法來轉成字節流,另外指定了請求方式為。運行結果如下通過觀察結果可以發現,我們成功設置了,以及。用于處理重定向。 上一篇文章:Python3網絡爬蟲實戰---19、代理基本原理下一篇文章:Python3網絡爬蟲實戰---21、使用Urllib:處理異常 學習爬蟲,最初的操作便...
摘要:上一篇文章網絡爬蟲實戰高級用法下一篇文章網絡爬蟲實戰與正則表達式抓取貓眼電影排行本節我們看一下正則表達式的相關用法,正則表達式是處理字符串的強大的工具,它有自己特定的語法結構,有了它,實現字符串的檢索替換匹配驗證都不在話下。 上一篇文章:Python3網絡爬蟲實戰---25、requests:高級用法下一篇文章:Python3網絡爬蟲實戰---27、Requests與正則表達式抓取貓眼...
摘要:所以使用代理隱藏真實的,讓服務器誤以為是代理服務器的在請求自己。參考來源由于涉及到一些專業名詞知識,本節的部分內容參考來源如下代理服務器維基百科代理百度百科上一篇文章網絡爬蟲實戰和下一篇文章網絡爬蟲實戰使用發送請求 上一篇文章:Python3網絡爬蟲實戰---18、Session和Cookies下一篇文章:Python3網絡爬蟲實戰---20、使用Urllib:發送請求 我們在做爬蟲...
摘要:最后用來處理正常的邏輯,這是一個較好的異常處理寫法。上一篇文章網絡爬蟲實戰使用發送請求下一篇文章網絡爬蟲實戰使用解析鏈接 上一篇文章:Python3網絡爬蟲實戰---20、使用Urllib:發送請求下一篇文章:Python3網絡爬蟲實戰---22、使用Urllib:解析鏈接 在前面一節我們了解了 Request 的發送過程,但是在網絡情況不好的情況下,出現了異常怎么辦呢?這時如果我們...
摘要:比如我們可以設置這就代表我們設置的規則對百度爬蟲是有效的。上一篇文章網絡爬蟲實戰使用解析鏈接下一篇文章網絡爬蟲實戰基本使用 上一篇文章:Python3網絡爬蟲實戰---22、使用Urllib:解析鏈接下一篇文章:Python3網絡爬蟲實戰---24、requests:基本使用 利用 Urllib 的 robotparser 模塊我們可以實現網站 Robots 協議的分析,本節我們來簡...
閱讀 2128·2021-09-27 14:04
閱讀 1873·2019-08-30 15:55
閱讀 1698·2019-08-30 13:13
閱讀 1065·2019-08-30 13:07
閱讀 2742·2019-08-29 15:20
閱讀 3240·2019-08-29 12:42
閱讀 3323·2019-08-28 17:58
閱讀 3593·2019-08-28 17:56