python中的編碼問題

forsigner 發布于2019-07-24 18:25 / 1216人閱讀

摘要：在控制臺執行命令中文，可以將解釋為命令，中文，從而到到對象。中文以上的對象其實是，即字節碼，若終端是編碼的話，那么就是用的字節碼。那么這里的是什么呢默認是，這正是錯誤為什么報無法用解碼的原因中文將默認編碼改為，即可。

問題

在平時工作中，遇到了這樣的錯誤：

UnicodeDecodeError: "ascii" codec can"t decode byte

想必大家也都碰到過，很常見。于是決定對python的編碼做一個整理和學習。

基礎知識

在python2.x中，有兩種數據類型，unicode和str，這兩個都是basestring的子類

>>> a = "中"
>>> type(a)

>>> isinstance(a,basestring)
True
>>> a = u"中"
>>> type(a)

>>> isinstance(a,basestring)
True

兩者的區別，概括來講，str是字節串，由unicode經過編碼(encode)后的字節組成的（好比與python3.x的byte）；unicode是對象，才是真正意義上的字符串，由字符組成

>>> a="中文"
>>> len(a)
6
>>> repr(a)
""xe4xb8xadxe6x96x87""
>>> b=u"中文"
>>> len(b)
2
>>> repr(b)
"u"u4e2du6587""

控制臺和腳本

在linux下的python控制臺執行以下命令，所得的結果和執行腳本是不同的

>>> a = u"中文"
>>> repr(a)
"u"xe4xb8xadxe6x96x87""
>>> b = unicode("中文","utf-8")b)
>>> repr(b)
"u"u4e2du6587""

可以看到，u"中文"初始化的對象a不是我們所期望的，那究竟是什么原因呢？
將python看成是一根管子，管子里頭處理的中間過程都是使用unicode的。入口處，全部轉成unicode；出口處，再轉成目標編碼(當然，有例外，處理邏輯中要用到具體編碼的情況)。
在控制臺執行命令a = u"中文"，可以將解釋為命令，a = ‘中文’.decode(encode)，從而到到unicode對象a。那么這里的encode是什么呢？對于控制臺來說，就是標準輸入，即sys.stdin.encoding

>>> sys.stdin.encoding
"ISO-8859-1"

我的這邊控制臺默認的編碼是ISO-8859-1，故a = u"中文" <=> a = "中文".decode("ISO-8859-1")
這里的"中文"是控制臺理解的，即使根據終端編碼方式編碼后的字節碼，對于utf-8編碼的終端，"中文"="xe4xb8xadxe6x96x87"

>>> a="中文".decode("ISO-8859-1") 
>>> repr(a)
"u"xe4xb8xadxe6x96x87""

那如何修改此編碼值呢，設置為什么呢？在linux環境中設置環境變量方法如下，具體設置什么只要與終端編碼方式一直即可

export PYTHONIOENCODING=UTF-8

總結

重新回到最初的那個問題，造成問題的原因是沒有搞清楚unicode和str的區別，將兩者進行了混用。

>>> a = "中文"
>>> a.encode("gbk")
Traceback (most recent call last):
  File "", line 1, in 
UnicodeDecodeError: "ascii" codec can"t decode byte 0xe4 in position 0: ordinal not in range(128)

以上的對象a其實是str，即字節碼，若終端是utf-8編碼的話，那么a就是用utf-8 encode的字節碼。a.encode("gbk") 等價于a.decode(encoding).encode("gbk")，即先將字節碼解碼為unicode字符，然后再encode為字節碼。unicode對象作為中轉站。那么這里的encoding是什么呢？

>>> import sys
>>> sys.getdefaultencoding()
"ascii"

默認是ascii，這正是錯誤為什么報無法用ascii解碼的原因

>>> reload(sys)

>>> sys.setdefaultencoding("utf-8")
>>> a = "中文"
>>> repr(a)
""xe4xb8xadxe6x96x87""
>>> a.encode("gbk")
"xd6xd0xcexc4"

將默認編碼改為utf-8，即可。不鼓勵對str使用encode方法，因為其中隱式對str進行了解碼。decode只對str，encode只對unicode，一切decode/encode都顯示指定編碼方式。

GPU云服務器云服務器 url編碼問題 asp編碼問題服務器編碼問題 unicode編碼轉換問題

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37739.html

Python 與 Unicode

摘要：最近使用處理一些網絡相關的問題，被相關的一系列編碼問題搞得一頭霧水。與接下來是中對于字符串的處理。中的和在中，其類型規定了底層的數據結構，是位整數串，也即跟語言中的字符串類似。這些問題在中得到解決。最近使用 Python 2 處理一些網絡相關的問題，被 Unicode, String 相關的一系列編碼問題搞得一頭霧水。在這里整理一下相關的概念吧。 ASCII Unicode UTF8...

Tangpj 2019-07-31 12:23 評論0 收藏0
Python的中文編碼問題

摘要：使用中文替代中文中文編碼中文編碼中有以上兩種聲明字符串變量的方式，它們的主要區別是編碼格式的不同，其中，的編碼格式和文件聲明的編碼格式一致，而的編碼格式則是。字符串是Python中最常用的數據類型，而且很多時候你會用到一些不屬于標準ASCII字符集的字符，這時候代碼就很可能拋出UnicodeDecodeError: ascii codec cant decode byte 0xc4 ...

Cheriselalala 2019-07-31 11:35 評論0 收藏0
Python入門-基本語法1

摘要：根據有效范圍作用域分為全局變量和局部變量。類型以開頭標識類型以開頭標識類型以進制的字節碼表示，實際上是一個字節串，回應了它的另一個名字。 < 返回索引頁基本語法 Hello World 代碼注釋關鍵字數據類型變量、常量變量變量賦值變量命名變量的作用域常量字符串與編碼字符轉義字符編碼字符串操作運算符與表達式運算符表達式 ...

ingood 2019-07-30 16:57 評論0 收藏0
unicode之痛【精校版】

摘要：之痛原文地址譯者校正實用編程指南這是我在所做的演講。事實一和二共同造成了計算機設備結構與世界人類需求的一個沖突。就是為了解決之前的老的字符集問題。值意味著，失敗時將會返回一個標準的替代字符。將使用進行了解碼。 Unicode之痛原文地址： http://nedbatchelder.com/text...譯者： yudun1989 校正: sicklife實用Unicode編程指南這是...

zombieda 2019-07-30 17:39 評論0 收藏0
Python2.x 字符編碼終極指南

摘要：值得注意的是，有的編碼方案不一定能表示某些信息，這時編碼就會失敗，比如就不能用來表示中文。數組的每一項是一個字節，用來表示。所以對于字符串來說，其長度等于編碼后字節的長度。所以，讓來編碼解碼中文，就超出了其能力范圍。在人機交互之字符編碼一文中對字符編碼進行了詳細的討論，并通過一些簡單的小程序驗證了我們對于字符編碼的認識。但僅了解這篇文章的內容，并不能幫我們在日常編程中躲過一些字符編...

Amio 2019-07-25 11:15 評論0 收藏0
Python: 熟悉又陌生的字符編碼

摘要：常見的字符編碼有編碼，編碼，編碼等。碼只規定了個字符的編碼，這在美國是夠用的。小結是一種針對的可變長度字符編碼，它是的實現方式之一。字符編碼是計算機編程中不可回避的問題，不管你用 Python2 還是 Python3，亦或是 C++, Java 等，我都覺得非常有必要厘清計算機中的字符編碼概念。本文主要分以下幾個部分介紹：基本概念常見字符編碼簡介 Python 的默認編碼 Py...

Vultr 2019-07-31 10:54 評論0 收藏0