Python requests“Max retries exceeded with url” err

NervosNetwork 發布于2019-07-30 17:44 / 1010人閱讀

摘要：解決辦法解決辦法多方查閱后發現了解決問題的原因連接太多沒有關閉導致的。操作方法只用進行操作。即只創建一個連接，并設置最大連接數或者重試次數。安裝設定固定的睡眠時間在發送請求之間

19-4-29補充：

error1:

NewConnectionError(": Failed to establish a new connection:
[WinError 10060] 由于連接方在一段時間后沒有正確答復或連接的主機沒有反應，連接嘗試失敗。",))

解決辦法：

session.keep_alive=False

error2:

python hostname doesn"t match either of facebookXXXXX
解決辦法：

import ssl
ssl.match_hostname = lambda cert, hostname: True
多方查閱后發現了解決問題的原因：http連接太多沒有關閉導致的。

解決辦法：

增加重試連接次數

requests.adapters.DEFAULT_RETRIES = 5

關閉多余的連接

requests使用了urllib3庫，默認的http connection是keep-alive的，requests設置False關閉。

操作方法

s = requests.session()
s.keep_alive = False

只用session進行操作。即只創建一個連接，并設置最大連接數或者重試次數。

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount("http://", adapter)
session.mount("https://", adapter)

session.get(url)

 import requests
   from requests.adapters import HTTPAdapter
   from requests.packages.urllib3.util.retry import Retry
   s = requests.Session()
   retry = Retry(connect = 5, backoff_factor = 1)
   adapter = HTTPAdapter(max_retries = retry)
   s.mount("http://", adapter)
   s.keep_alive = False
   res = s.post(self.conn.host + "/sign-in", data = json.dumps({
       "name": "XXX",
       "pwd": "XXX"
   }))
   response = res.json()

但是在starkoverflow上有人給出了這樣的解釋。

安裝 py

pip install -U pyopenssl
5、設定固定的睡眠時間在發送請求之間
https://github.com/requests/r...
https://stackoverflow.com/que...

云服務器 GPU云服務器 python的requests安裝 ERR: err err_quit

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42383.html

Python 頻繁請求問題: [Errno 104] Connection reset by pee

摘要：之前我是做了錯誤記錄直接了，這次情況下因為需要請求所有圖片，在查了相關原因，大概是因為我頻繁請求，服務器關閉了部門請求連接。在實際的請求中，加了的延遲被拒絕的情況明顯少了很多，被拒絕重試的次數最多為次，最后成功地取下了全部圖片。記遇到的一個問題:[Errno 104] Connection reset by peer 今天工作上有個需求，數據庫有個表有將近3萬條url記錄，每條記錄...

BearyChat 2019-07-31 10:53 評論0 收藏0
快速入門Python 最新最流行的pipenv虛擬環境

摘要：的把最新型最先進的虛擬環境吵得火熱。進入后，你會發現用也是能生效的。但是注意進入環境后千萬不要用退出，而應該用退出。最佳解決方案是因為這種在其他地方也常見，一般都是沒有在環境里安裝的問題。 2018的PyCon把最新型最先進的Python虛擬環境pipenv吵得火熱。看了下介紹感覺真的很好用，它在virtualenv的基礎上包裝了一些更便捷的功能，解決了很多很多virtualenv欠缺...

roundstones 2019-07-30 16:45 評論0 收藏0
open-falcon 開發筆記（二）：環境配置【續】

摘要：網絡配置問題通常采用的是網絡地址轉換的連接方式。這種做法是臨時的更改。手動配置請選用各地延遲排行榜。永久性做法是去配置。至此，筆者已經安裝了大部分的功能，還有等輔助組件木有安裝。預計這方面不大會再出現未知坑了。這篇文章會先講一些上次沒解決的坑。正所謂探索過程中沒去搞懂的坑以后還會再來困擾你的。 VirtualBox 網絡配置問題通常 VirtualBox 采用的是 NAT（網絡地址...

SHERlocked93 2019-07-25 11:09 評論0 收藏0
python爬蟲——寫出最簡單的網頁爬蟲

摘要：開發最簡單的爬蟲簡介開發最簡單的爬蟲百度首頁簡潔大方，很適合我們爬蟲。爬蟲代碼如下結果如下圖我們可以通過在百度首頁空白處右擊，查看審查元素來和我們的運行結果對比。知識就像碎布，記得縫一縫，你才能華麗麗地亮相最近對python爬蟲有了強烈地興趣，在此分享自己的學習路徑，歡迎大家提出建議。我們相互交流，共同進步。 1.開發工具筆者使用的工具是sublime text3，它的短小精...

zilu 2019-07-30 14:26 評論0 收藏0