python3的requests解析中文頁面出現亂碼的解決方法

huhud 發布于2019-07-31 10:18 / 3460人閱讀

摘要：第二部分解決方法所以要么你直接使用字節碼，要么記得把設置正確，比如我獲取了一段編碼的網頁就需要以下方法才能得到正確的。

第一部分關于requests庫

(1)requests是一個很實用的Python HTTP客戶端庫，編寫爬蟲和測試服務器響應數據時經常會用到。
(2)其中的Request對象在訪問服務器后會返回一個Response對象，這個對象將返回的Http響應字節碼保存到content屬性中。
(3)但是如果你訪問另一個屬性text時，會返回一個unicode對象，亂碼問題就會常常發成在這里。
(4)因為Response對象會通過另一個屬性encoding來將字節碼編碼成unicode，而這個encoding屬性居然是responses自己猜出來的。

第二部分解決方法

所以要么你直接使用content(字節碼)，要么記得把encoding設置正確，比如我獲取了一段gbk編碼的網頁,就需要以下方法才能得到正確的unicode。

import requests
url = "http://xxx.xxx.xxx"
response = requests.get(url)
response.encoding = "gbk"
 
print(response.text)

GPU云服務器云服務器 request中文亂碼 asp 頁面出現亂碼 vsftpd解決中文亂碼 jsp解決中文亂碼

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43611.html

前端小白的python實戰: 報紙分詞排序

摘要：先看效果環境位目標抓取一篇報紙，并提取出關鍵字，然后按照出現次數排序，用在頁面上顯示出來。首先要抓取網頁，但是網頁在控制臺輸出的時候，中文總是亂碼。但是不得不承認，上有很多非常優秀的庫。例如但是這些包我在上安裝的時候總是報錯。先看效果： showImg(https://segmentfault.com/img/bVRLCc?w=612&h=668); 環境 win7 64位 pyt...

cncoder 2019-07-30 14:22 評論0 收藏0
Servlet第四篇【request對象常用方法、應用】

摘要：瀏覽器的中文數據提交給服務器，以編碼對中文編碼，當我在讀取數據的時候，拿到的當然是亂碼。接下來使用方式傳遞中文數據，把表單的方式改成即可當我們訪問的時候，又出現亂碼了于是我按照上面的方式，把對象設置編碼為試試結果還是亂碼。什么是HttpServletRequest HttpServletRequest對象代表客戶端的請求，當客戶端通過HTTP協議訪問服務器時，HTTP請求頭中的所有信...

raise_yang 2019-08-15 13:59 評論0 收藏0
Java文件上傳細講

摘要：代碼量也的確減少很多也能夠獲取普通字段的參數上傳文件名的中文亂碼和上傳數據的中文亂碼我把文件名改成中文，就亂碼了表單提交過來的中文數據也亂碼了。什么是文件上傳？文件上傳就是把用戶的信息保存起來。為什么需要文件上傳？在用戶注冊的時候，可能需要用戶提交照片。那么這張照片就應該要進行保存。上傳組件(工具) 為什么我們要使用上傳工具？為啥我們需要上傳組件呢？當我們要獲取客戶端的數據...

soasme 2019-08-16 11:01 評論0 收藏0