摘要：的鏈接在感興趣的同學可以自行查閱最后總結當返回頭沒有的時候，使用猜測出來的編碼一般都是很準的當返回頭里面有的時候，如果有，則的編碼為的值。截圖自己看把，地址在如果還有猜測編碼的方法，歡迎留言完

大家爬取網頁的時候，應該都遇到過這種情況?

當我打印網頁源代碼的時候

發現 全部是亂碼的

那這個時候應該怎么辦呢？

首先，response.content返回的內容 是二進制內容

response.text 則是根據設置的encoding來解碼

# Try charset from content-type  
content = None  
encoding = self.encoding  
  
if not self.content:  
  return str("")  
  
# Fallback to auto-detected encoding.  
if self.encoding is None:  
    encoding = self.apparent_encoding  
  
# Decode unicode from given encoding.  
try:  
    content = str(self.content, encoding, errors="replace")  
except (LookupError, TypeError):

我們可以看到 ，當encoding為None的時候，

編碼是通過chardet.detect來獲取的,

def apparent_encoding(self):  
"""The apparent encoding, provided by the chardet library."""  
 ? ?return chardet.detect(self.content)["encoding"]

那么chardet.detect 又是干嘛的呢？

簡單的講，就是根據給定的字節，來返回他的編碼

至于他是如何實現的，歡迎去看源代碼。。。

上面說到了當encoding為None的時候,requests是如何設置encoding的

那么encoding 默認編碼是啥呢？繼續查看源代碼

我們在adapters.py 里面找到了~

response.encoding = get_encoding_from_headers(response.headers)

def get_encoding_from_headers(headers):  
"""Returns encodings from given HTTP Header Dict.  
 ? ?:param headers: dictionary to extract encoding from.  
 ? ?:rtype: str  
 ? ?"""  
 ? ?content_type = headers.get("content-type")  
  
if not content_type:  
  return None  
content_type, params = cgi.parse_header(content_type)  

if "charset" in params:  
  return params["charset"].strip("""")  
  
if "text" in content_type:  
  return "ISO-8859-1"

簡單講就是 如何返回頭里面沒有content_type，則encoding為None

如果charset在參數里面的話，則使用charset設置的值（看下圖，github返回的）

如果text在參數里面的話，則使用ISO-8859-1

然后你打印下 你亂碼網頁的encoding，發現，還真是ISO-8859-1

你會很奇怪，為啥當content-type為text/html的時候，編碼為iso-8859-1呢？

現在常見的編碼不是utf8么，requests怎么這么傻*呢...

然后發現是rfc2016的規定。。。

rfc2016的鏈接在?https://www.ietf.org/rfc/rfc2...

感興趣的同學可以自行查閱...

最后總結

當返回頭沒有content_type 的時候，encoding使用chardet.detect 猜測出來的編碼（一般都是很準的）

當返回頭里面有content_type 的時候，如果有charset=xxx，則encoding的編碼為chatset的值。如果只是text/html,則編碼為ISO-8859-1

那么當你發現response.text返回亂碼的時候，怎么辦呢。。。

只要先設置編碼為None...

再打印.text就可以了..

response.encoding = None  
response.text

本來呢，本篇文章到此結束了。。。但是呢。。。

有幾種方法可以知道網頁的編碼呢？

我們上面講過的 response.headers中的content_type

通過chardet.detect猜測出來（上面講過的）

網頁源代碼中的 meta（且有charset的值）如下面的，則表示網頁編碼為gb2312（不過呢，有時候并不是很準，這個是前端瞎xx寫的，這時候就可以用chardet.detect來猜測了...）

方法3的代碼如何寫呢（如下）

def get_encodings_from_content(content):  
"""Returns encodings from given content string.  
 ? ?:param content: bytestring to extract encodings from.  
 ? ?"""  
 ? ?warnings.warn((  
"In requests 3.0, get_encodings_from_content will be removed. For "  
 ? ? ? ?"more information, please see the discussion on issue #2266. (This"  
 ? ? ? ?" warning should only appear once.)"),  
 ? ? ? ?DeprecationWarning)  
  
    charset_re = re.compile(r"]", flags=re.I)  
    pragma_re = re.compile(r"]", flags=re.I)  
    xml_re = re.compile(r"^]")  
  
    return (charset_re.findall(content) +  
            pragma_re.findall(content) +  
            xml_re.findall(content))

你會看到requests3.0版本的時候，這個方法會去掉，這又是為什么呢。。。

截圖自己看把，地址在https://github.com/requests/r...

如果還有猜測編碼的方法，歡迎留言

完...