資訊專欄INFORMATION COLUMN
摘要：上一篇文章網絡爬蟲實戰使用分析協議下一篇文章在前面一節我們了解了的基本用法，但是其中確實有不方便的地方。發送之后，得到的自然就是，在上面的實例中我們使用了和獲取了內容，不過還有很多屬性和方法可以獲取其他的信息，比如狀態碼等信息。
上一篇文章：Python3網絡爬蟲實戰---23、使用Urllib：分析Robots協議
下一篇文章：
在前面一節我們了解了 Urllib 的基本用法，但是其中確實有不方便的地方。比如處理網頁驗證、處理 Cookies 等等，需要寫 Opener、Handler 來進行處理。為了更加方便地實現這些操作，在這里就有了更為強大的庫 Requests，有了它，Cookies、登錄驗證、代理設置等等的操作都不是事兒。
那么接下來就讓我們來領略一下它的強大之處吧。
1 基本使用本節我們首先來了解下 Requests 庫的基本使用方法。
1. 準備工作在本節開始之前請確保已經正確安裝好了 Requests 庫，如果沒有安裝可以參考第一章的安裝說明。
2. 實例引入在 Urllib 庫中有 urlopen() 的方法，實際上它是以 GET 方式請求了一個網頁。
那么在 Requests 中，相應的方法就是 get() 方法，是不是感覺表達更明確一些？
下面我們用一個實例來感受一下：
import requests
r=requests.get("http://httpbin.org/get")
print(type(r),r.status_code,type(r.text),r.text,type(r.cookies),r.cookies,sep="
")
運行結果如下：
200 { "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "httpbin.org", "User-Agent": "python-requests/2.21.0" }, "origin": "114.253.118.8, 114.253.118.8", "url": "https://httpbin.org/get" }
上面的例子中我們調用 get() 方法即可實現和 urlopen() 相同的操作，得到一個 Response 對象，然后分別輸出了 Response 的類型，Status Code，Response Body 的類型、內容還有 Cookies。
通過上述實例可以發現，它的返回類型是 requests.models.Response，Response Body 的類型是字符串 str，Cookies 的類型是 RequestsCookieJar。
使用了 get() 方法就成功實現了一個 GET 請求，但這倒不算什么，更方便的在于其他的請求類型依然可以用一句話來完成。
用一個實例來感受一下：
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")
在這里分別用 post()、put()、delete() 等方法實現了 POST、PUT、DELETE 等請求，怎么樣？是不是比 Urllib 簡單太多了？
其實這只是冰山一角，更多的還在后面。
HTTP 中最常見的請求之一就是 GET 請求，我們首先來詳細了解下利用 Requests 來構建 GET 請求的方法以及相關屬性方法操作。
基本實例首先讓我們來構建一個最簡單的 GET 請求，請求的鏈接為：http://httpbin.org/get，它會判斷如果如果是 GET 請求的話，會返回響應的 Request 信息。
import requests
r = requests.get("http://httpbin.org/get")
print(r.text)
運行結果如下：
{
? "args": {},
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "origin": "122.4.215.33",
? "url": "http://httpbin.org/get"
}
可以發現我們成功發起了 GET 請求，返回的結果中包含了 Request Headers、URL、IP 等信息。
那么 GET 請求，如果要附加額外的信息一般是怎樣來添加？比如現在我想添加兩個參數，名字 name 是 germey，年齡 age 是 22。構造這個請求鏈接是不是我們要直接寫成：
r = requests.get("http://httpbin.org/get?name=g...;age=22")
可以是可以，但是不覺得很不人性化嗎？一般的這種信息數據我們會用字典來存儲，那么怎樣來構造這個鏈接呢？
同樣很簡單，利用 params 這個參數就好了。
實例如下：
import requests
data = {
??? "name": "germey",
??? "age": 22
}
r = requests.get("http://httpbin.org/get", params=data)
print(r.text)
運行結果如下：
{
? "args": {
??? "age": "22",
??? "name": "germey"
? },
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "origin": "122.4.215.33",
? "url": "http://httpbin.org/get?age=22&name=germey"
}
通過返回信息我們可以判斷，請求的鏈接自動被構造成了：http://httpbin.org/get?age=22...;name=germey。
另外，網頁的返回類型實際上是 str 類型，但是它很特殊，是 Json 的格式，所以如果我們想直接把返回結果解析，得到一個字典格式的話，可以直接調用 json() 方法。
用一個實例來感受一下：
import requests
r = requests.get("http://httpbin.org/get")
print(type(r.text))
print(r.json())
print(type(r.json()))
運行結果如下：
{"headers": {"Accept-Encoding": "gzip, deflate", "Accept": "/", "Host": "httpbin.org", "User-Agent": "python-requests/2.10.0"}, "url": "http://httpbin.org/get", "args": {}, "origin": "182.33.248.131"}
可以發現，調用 json() 方法，就可以將返回結果是 Json 格式的字符串轉化為字典。
但注意，如果返回結果不是 Json 格式，便會出現解析錯誤，拋出 json.decoder.JSONDecodeError 的異常。
如上的請求鏈接返回的是 Json 形式的字符串，那么如果我們請求普通的網頁，那么肯定就能獲得相應的內容了。
下面我們以知乎－發現頁面為例來感受一下：
import requests
import re
headers = {
??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
}
r = requests.get("https://www.zhihu.com/explore", headers=headers)
pattern = re.compile("explore-feed.*?question_link.*?>(.*?)", re.S)
titles = re.findall(pattern, r.text)
print(titles)
如上代碼，我們請求了知乎－發現頁面：https://www.zhihu.com/explore，在這里加入了 Headers 信息，其中包含了 User-Agent 字段信息，也就是瀏覽器標識信息。如果不加這個，知乎會禁止抓取。
在接下來用到了最基礎的正則表達式，來匹配出所有的問題內容，關于正則表達式會在后面的章節中詳細介紹，在這里作為用到實例來配合講解。
運行結果如下：
[" 如何評價楊超越對偶像意義的理解？ ", " 中國綠發會宣稱「穿山甲功能性滅絕」，引發學者質疑后反控對方誹謗，應該相信哪邊？ ", " 如何科學地解釋MacBook Pro 2019的CPU性能表現接近甚至超過ROG玩家國度槍神3？ ", " 如何評價楊超越對偶像意義的理解？ ", " 盛京劍客為啥退出知乎了？ ", " 怎么看我國跆拳道選手鄭姝音被判負后眾人不滿，我國參加類似比賽還有必要么？ ", " 你為什么這么不愿意《極限挑戰》換人？ ", " 「吉卜力工作室」是一家怎樣的動畫制作公司？ ", " 你為什么不喜歡張雪迎？ ", " 《王者榮耀》中，你遇到哪些有意思的隊友？ "]
發現成功提取出了所有的問題內容。
抓取二進制數據在上面的例子中，我們抓取的是知乎的一個頁面，實際上它返回的是一個 HTML 文檔，那么如果我們想抓去圖片、音頻、視頻等文件的話應該怎么辦呢？
我們都知道，圖片、音頻、視頻這些文件都是本質上由二進制碼組成的，由于有特定的保存格式和對應的解析方式，我們才可以看到這些形形色色的多媒體。所以想要抓取他們，那就需要拿到他們的二進制碼。
下面我們以 GitHub 的站點圖標為例來感受一下：
import requests
r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)
抓取的內容是站點圖標，也就是在瀏覽器每一個標簽上顯示的小圖標，如圖 3-3 所示：
圖 3-3 站點圖標
在這里打印了 Response 對象的兩個屬性，一個是text，另一個是 content。
運行結果如下，由于包含特殊內容，在此放運行結果的圖片，如圖 3-4 所示：
圖 3-4 運行結果
那么前兩行便是 r.text 的結果，最后一行是 r.content 的結果。
可以注意到，前者出現了亂碼，后者結果前面帶有一個 b，代表這是 bytes 類型的數據。由于圖片是二進制數據，所以前者在打印時轉化為 str 類型，也就是圖片直接轉化為字符串，理所當然會出現亂碼。
兩個屬性有什么區別？前者返回的是字符串類型，如果返回結果是文本文件，那么用這種方式直接獲取其內容即可。如果返回結果是圖片、音頻、視頻等文件，Requests 會為我們自動解碼成 bytes 類型，即獲取字節流數據。
進一步地，我們可以將剛才提取到的圖片保存下來。
import requests
r = requests.get("https://github.com/favicon.ico")
with open("favicon.ico", "wb") as f:
??? f.write(r.content)
在這里用了 open() 方法，第一個參數是文件名稱，第二個參數代表以二進制寫的形式打開，可以向文件里寫入二進制數據，然后保存。
運行結束之后，可以發現在文件夾中出現了名為 favicon.ico 的圖標，如圖 3-5所示：
圖 3-5 圖標
同樣的，音頻、視頻文件也可以用這種方法獲取。
如 urllib.request 一樣，我們也可以通過 headers 參數來傳遞頭信息。
比如上面的知乎的例子，如果不傳遞 Headers，就不能正常請求：
import requests
r = requests.get("https://www.zhihu.com/explore")
print(r.text)
運行結果如下：
400 Bad Request 400 Bad Request
openresty
但如果加上 Headers 中加上 User-Agent 信息，那就沒問題了：
import requests
headers = {
??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
}
r = requests.get("https://www.zhihu.com/explore", headers=headers)
print(r.text)
當然我們可以在 headers 這個參數中任意添加其他的字段信息。
4. POST請求在前面我們了解了最基本的 GET 請求，另外一種比較常見的請求方式就是 POST 了，就像模擬表單提交一樣，將一些數據提交到某個鏈接。
使用 Request 是實現 POST 請求同樣非常簡單。
我們先用一個實例來感受一下：
import requests
data = {"name": "germey", "age": "22"}
r = requests.post("http://httpbin.org/post", data=data)
print(r.text)
這里我們還是請求：http://httpbin.org/post，它可以判斷如果請求是 POST 方式，就把相關請求信息輸出出來。
運行結果如下：
{
? "args": {},
? "data": "",
? "files": {},
? "form": {
??? "age": "22",
??? "name": "germey"
? },
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Content-Length": "18",
??? "Content-Type": "application/x-www-form-urlencoded",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "json": null,
? "origin": "182.33.248.131",
? "url": "http://httpbin.org/post"
}
可以發現，成功獲得了返回結果，返回結果中的 form 部分就是提交的數據，那么這就證明 POST 請求成功發送了。
5. Response發送 Request 之后，得到的自然就是 Response，在上面的實例中我們使用了 text 和 content 獲取了 Response 內容，不過還有很多屬性和方法可以獲取其他的信息，比如狀態碼 Status Code、Headers、Cookies 等信息。
下面用一個實例來感受一下：
import requests
r = requests.get("http://www.baidu.com")
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print(type(r.history), r.history)
在這里分別打印輸出了 status_code 屬性得到狀態碼， headers 屬性得到 Response Headers，cookies 屬性得到 Cookies，url 屬性得到 URL，history 屬性得到請求歷史。
運行結果如下：
