国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

這個男人讓你的爬蟲開發效率提升8倍

Jackwoo / 2881人閱讀

摘要：提升倍雖是我胡謅的數據，開發效率的提升卻是杠杠滴。而卻不同，它提供了官方中文文檔，其中包括了很清晰的快速上手和詳盡的高級用法和接口指南。其他更多詳細內容不多說了，中文官網地址，順著看一遍，寫一遍，你就掌握這個爬蟲神器了。

他叫 Kenneth Reitz。現就職于知名云服務提供商 DigitalOcean，曾是云計算平臺 Heroku 的 Python 架構師，目前 Github 上 Python 排行榜第一的用戶。（star 數超過了包括 google、tensorflow、django 等賬號）

但他被更多路人所熟知的，恐怕還是他從一名技術肥宅逆襲成為文藝高富帥的勵志故事：

看看他的個人主頁 www.kennethreitz.org 上的標簽：

除了程序員，還有攝影師、音樂家、演講者……不怪在社交媒體上被稱為“程序員屆的網紅”。

然而，作為一個嚴肅的技術號，今天我們不是要八卦他的開掛人生，而是他的代表作品： Requests

（如果你還是想看八卦，給你個傳送門： 誰說程序員不是潛力股？讓這位世界前五名的天才程序員來顛覆你三觀！ ）

*

Requests 自我定義為 HTTP for Humans ： 讓 HTTP 服務人類 ，或者說最人性化的 HTTP。言外之意，之前的那些 HTTP 庫太過繁瑣，都不是給人用的。（urllib 表示：怪我咯！）

盡管聽上去有些自大，但實際上它的的確確配得上這個評價，用過的都說好。我在文首搬出它的網紅作者，其實也僅僅是想吸引下你的眼球，然后告訴你，這真的是一個非常值得使用的庫。“提升8倍”雖是我胡謅的數據，開發效率的提升卻是杠杠滴。

我們先來看看它官網上的說法：

其他同樣非常值得推薦的東西，如 PyCharm、Anaconda 等，我在推薦完之后往往得寫上一些教程，并在后續不斷解答使用者的問題。

而 Requests 卻不同，它提供了官方中文文檔，其中包括了很清晰的“快速上手”和詳盡的高級用法和接口指南。以至于我覺得再把文檔里面內容搬運過來都是一種浪費。對于 Requests，要做的僅僅是兩件事：

告訴你有這樣一個工具，用來開發爬蟲很輕松

告訴你它的官方文檔很好，你去讀就可以了

到此為止，本篇的目的已經達到。不過為了更有說服力，以及照顧到一些暫時還不需要但以后可能會去看的同學，我還是再啰嗦幾句，演示下 Requests 的威力。
安裝

pip install requests 即可

請求網頁


 import requests
r = requests.get("http://httpbin.org/get")
print(r.status_code)
print(r.encoding)
print(r.text)
print(r.json())

只需一行代碼就可以完成 HTTP 請求。然后輕松獲取狀態碼、編碼、內容，甚至按 JSON 格式轉換數據。雖然這種簡單請求用別的庫也不復雜，但其實在內部，Requests 已幫你完成了 添加 headers、自動解壓縮、自動解碼 等操作。寫過課程中“查天氣”的同學，很可能踩過 gzip 壓縮的坑，用 Requests 就不存在了。如果你發現獲取的內容編碼不對，也只需要直接給 encoding 賦值正確的編碼后再訪問 text，就自動完成了編碼轉換，非常方便。

想要 下載一張圖片 ：


r = requests.get("https://www.baidu.com/img/bd_logo1.png")
with open("image.png", "wb") as f:
    f.write(r.content)

把返回結果的 content 保存在文件里就行了。

提交一個 POST 請求 ，同時增加 請求頭、cookies、代理 等信息（此處使用的代理地址不是真實的，測試代碼時需去掉）：


import requests
url = "http://httpbin.org/post"
cookies = dict(some_cookie="working")
headers = {"user-agent": "chrome"}
proxies = {
    "http":"http://10.10.1.10:3128",
    "https":"http://10.10.1.10:1080",
}
data = {"key1": "value1", "key2": "value2"}
r = requests.get(
    url,
    data=data,
    cookies=cookies,
    proxies=proxies,
    headers=headers
)
print(r.text)

上述幾個配置，如果使用自帶的 urllib 庫，代碼要增加不少。

有時我們做爬蟲時，需要保持 cookie 一致，比如登錄后才可訪問的頁面。用 Session 會話對象 就可以實現：


s = requests.Session()
s.get("http://httpbin.org/cookies/set/sessioncookie/123456789")
r = s.get("http://httpbin.org/cookies")
print(r.text)

另外提兩個常見小問題：
一個是關于 SSL ，也就是 https 證書的問題。如果碰到 HTTPS 證書無效導致無法訪問的錯誤，可以嘗試加參數 verify=False 忽略：


r = requests.get("https://www.12306.cn/", verify=False)
print(r.text)

另一個是對于設置了 自動跳轉 的頁面，默認會跟隨跳轉（但僅限于控制域名跳轉，無法跟隨 js 跳轉），也可以加參數 allow_redirects=False 禁止：


r = requests.get("http://github.com/", allow_redirects=False)
print(r.status_code)
print(r.text)

上面兩個例子，把參數去掉試試看效果。

其他更多詳細內容不多說了，中文官網地址 cn.python-requests.org，順著看一遍，寫一遍，你就掌握這個爬蟲神器了。

對了，作者今年又發布了個新的庫 Requests-HTML: HTML Parsing for Humans，用來對抓取到的 HTML 文本進行處理。這是要把 bs4 也一并干掉的節奏啊。現在更新到 0.9 版本，密切關注中。

我們編程教室的不少演示項目如 電影票價查詢、就業崗位分析、IP 代理池 里也都使用了 Requests 庫，想了解的請在公眾號（Crossin的編程教室）里回復 項目

════
其他文章及回答：

如何自學Python | 新手引導 | 精選Python問答 | Python單詞表 | 區塊鏈 | 人工智能 | 雙11 | 嘻哈 | 爬蟲 | 排序算法 | 我用Python | 高考 | 世界杯

歡迎搜索及關注： Crossin的編程教室

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42540.html

相關文章

  • 我們一直談論“寫代碼”，但你會“讀代碼”嗎？

    摘要：只有能看懂代碼，你才能快速準確地定位代碼中的問題。要寫出很的代碼，少不了閱讀優秀的源碼。我們的論壇和答疑群里，有一些同學會查看并解答其他人的代碼問題。實際上，我覺得就是沒看懂你只是看懂了每一行代碼的意思，但并沒有理解整個代碼的設計。 編程，又被稱作 寫代碼 。這個說法有可能會帶來一點點誤解，讓人覺得如何寫是學習編程要解決的主要問題。但事實并非如此。盡管最終代碼要在鍵盤上敲出來，但這個過...

    2i18ns 評論0 收藏0

  • 文章內容提取庫 goose 簡介

    摘要：是一個文章內容提取器，可以從任意資訊文章類的網頁中提取文章主體，并提取標題標簽摘要圖片視頻等信息，且支持中文網頁。 爬蟲抓取數據有兩個頭疼的點，寫過爬蟲的小伙伴們一定都深有體會： 網站的 防抓取 機制。你要盡可能將自己偽裝成一個人，騙過對方的服務器反爬驗證。 網站的 內容提取 。每個網站都需要你做不同的處理，而且網站一旦改版，你的代碼也得跟著更新。 第一點沒什么捷徑可走，套路見得多...

    keithxiaoy 評論0 收藏0

  • BeautifulSoup：網頁解析利器上手簡介

    摘要：文檔寫得很清楚，也有中文版，你只要看了最初的一小部分，就可以在代碼中派上用場了。 關于爬蟲的案例和方法，我們已講過許多。不過在以往的文章中，大多是關注在 如何把網頁上的內容抓取下來 。今天我們來分享下，當你已經把內容爬下來之后， 如何提取出其中你需要的具體信息 。 網頁被抓取下來，通常就是 str 字符串類型的對象 ，要從里面尋找信息，最直接的想法就是直接通過字符串的 find 方法 ...

    Carl 評論0 收藏0

  • 【長期更新】盤一盤那些 uTools 高質量插件，讓你的工作效率瞬間提升N倍！

    摘要：參考增強神器，文檔搜索效率何止翻倍推薦系數圖片展示快速獲取文件文件夾名稱插件來源開發者插件介紹如名，鼠標選中文件或者文件夾，點擊鼠標中鍵激活插件即可將文件文件夾名稱復制到剪切板。 ...

    remcarpediem 評論0 收藏0

  • 學會它，能讓你工作學習效率提升10倍！

    摘要：思維導圖的好處它們能投讓你一直對全部知識圖景了然于胸，因而可以讓你對那一學科的全部知識有一個更加平衡和更加全面的理解。竭盡所能地利用一切讓思維導圖的制作過程充滿樂趣音樂繪畫色彩。 從小老師就教育小肆，要多記筆記，說好記性不如爛筆頭，但記過的筆記卻很快就忘了，甚至回頭再看都不知道當時記得什么，一直期望能有個比記筆記更好的方法來學習，直到我遇見了它--思維導圖。 什么是思維導圖？ 人腦不是...

    Cruise_Chan 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<