摘要:更高性能的默認縮短到時間的更安全的列表推導更簡易的合并兩個不僅僅合并很方便,合并等也很方便整數類型提供了兩個整數類型和,只提供有個整數類型,如下的代碼總結提供了很多新的特性,方便我們編碼的同時,也帶來了更好的安全性和較高的性能。
概述
??隨著Python在機器學習和數據科學領域的應用越來越廣泛,相關的Python庫也增長的非常快。但是Python本身存在一個非常要命的問題,就是Python2和Python3,兩個版本互不兼容,而且Github上Python2的開源庫有很多不兼容Python3,導致大量的Python2的用戶不愿意遷移到Python3。
??Python3在很多方面都做出了改變,優化了Python2的很多不足,標準庫也擴充了很多內容,例如協程相關的庫。現在列舉一些Python3里提供的功能,跟你更好的從Python2遷移到Python3的理由。
??使用Python2的同學,應該都用過os.path這個庫,來處理各種各樣的路徑問題,比如拼接文件路徑的函數:os.path.join(),用Python3,你可以使用pathlib很方便的完成這個功能:
from pathlib import Path dataset = "wiki_images" datasets_root = Path("/path/to/datasets/") train_path = datasets_root / dataset / "train" test_path = datasets_root / dataset / "test" for image_path in train_path.iterdir(): with image_path.open() as f: # note, open is a method of Path object # do something with an image
相比與os.path.join()函數,pathlib更加安全、方便、可讀。pathlib還有很多其他的功能。
p.exists() p.is_dir() p.parts() p.with_name("sibling.png") # only change the name, but keep the folder p.with_suffix(".jpg") # only change the extension, but keep the folder and the name p.chmod(mode) p.rmdir()類型提醒: Type hinting
??在Pycharm中,類型提醒是這個樣子的:
??類型提醒在復雜的項目中可以很好的幫助我們規避一些手誤或者類型錯誤,Python2的時候是靠IDE來識別,格式IDE識別方法不一致,并且只是識別,并不具備嚴格限定。例如有下面的代碼,參數可以是numpy.array , astropy.Table and astropy.Column, bcolz, cupy, mxnet.ndarray等等。
def repeat_each_entry(data): """ Each entry in the data is doubled""" index = numpy.repeat(numpy.arange(len(data)), 2) return data[index]
同樣上面的代碼,傳入pandas.Series類型的參數也是可以,但是運行時會出錯。
repeat_each_entry(pandas.Series(data=[0, 1, 2], index=[3, 4, 5])) # returns Series with Nones inside
??這還只是一個函數,對于大型的項目,會有好多這樣的函數,代碼很容易就跑飛了。所以確定的參數類型對于大型項目來說非常重要,而Python2沒有這樣的能力,Python3可以。
def repeat_each_entry(data: Union[numpy.ndarray, bcolz.carray]):
??目前,比如JetBrains家的PyCharm已經支持Type Hint語法檢查功能,如果你使用了這個IDE,可以通過IDE功能進行實現。如果你像我一樣,使用了SublimeText編輯器,那么第三方工具mypy可以幫助到你。
??PS:目前類型提醒對ndarrays/tensors支持不是很好。
正常情況下,函數的注釋處理理解代碼用,其他沒什么用。你可以是用enforce來強制運行時檢查類型。
@enforce.runtime_validation def foo(text: str) -> None: print(text) foo("Hi") # ok foo(5) # fails @enforce.runtime_validation def any2(x: List[bool]) -> bool: return any(x) any ([False, False, True, False]) # True any2([False, False, True, False]) # True any (["False"]) # True any2(["False"]) # fails any ([False, None, "", 0]) # False any2([False, None, "", 0]) # fails使用@特殊字符表示矩陣乘法
如下代碼:
# l2-regularized linear regression: || AX - b ||^2 + alpha * ||x||^2 -> min # Python 2 X = np.linalg.inv(np.dot(A.T, A) + alpha * np.eye(A.shape[1])).dot(A.T.dot(b)) # Python 3 X = np.linalg.inv(A.T @ A + alpha * np.eye(A.shape[1])) @ (A.T @ b)
使用@符號,整個代碼變得更可讀和方便移植到其他如numpy、tensorflow等庫。
**特殊字符來遞歸文件路徑在Python2中,遞歸查找文件不是件容易的事情,即使使用glob庫,但是python3中,可以通過通配符簡單的實現。
import glob # Python 2 found_images = glob.glob("/path/*.jpg") + glob.glob("/path/*/*.jpg") + glob.glob("/path/*/*/*.jpg") + glob.glob("/path/*/*/*/*.jpg") + glob.glob("/path/*/*/*/*/*.jpg") # Python 3 found_images = glob.glob("/path/**/*.jpg", recursive=True)
和之前提到的pathlib一起使用,效果更好:
# Python 3 found_images = pathlib.Path("/path/").glob("**/*.jpg")Print函數
打印到指定文件
print >>sys.stderr, "critical error" # Python 2 print("critical error", file=sys.stderr) # Python 3
不使用join函數拼接字符串
# Python 3 print(*array, sep=" ") print(batch, epoch, loss, accuracy, time, sep=" ")
重寫print函數
# Python 3 _print = print # store the original print function def print(*args, **kargs): pass # do something useful, e.g. store output to some file
再比如下面的代碼
@contextlib.contextmanager
def replace_print():
import builtins
_print = print # saving old print function
# or use some other function here
builtins.print = lambda *args, **kwargs: _print("new printing", *args, **kwargs)
yield
builtins.print = _print
with replace_print():
雖然上面這段代碼也能達到重寫print函數的目的,但是不推薦使用。
字符串格式化python2提供的字符串格式化系統還是不夠好,太冗長麻煩,通常我們會寫這樣一段代碼來輸出日志信息:
# Python 2 print("{batch:3} {epoch:3} / {total_epochs:3} accuracy: {acc_mean:0.4f}±{acc_std:0.4f} time: {avg_time:3.2f}".format( batch=batch, epoch=epoch, total_epochs=total_epochs, acc_mean=numpy.mean(accuracies), acc_std=numpy.std(accuracies), avg_time=time / len(data_batch) )) # Python 2 (too error-prone during fast modifications, please avoid): print("{:3} {:3} / {:3} accuracy: {:0.4f}±{:0.4f} time: {:3.2f}".format( batch, epoch, total_epochs, numpy.mean(accuracies), numpy.std(accuracies), time / len(data_batch) ))
輸出的結果是:
120 12 / 300 accuracy: 0.8180±0.4649 time: 56.60
python3.6的f-strings功能實現起來就簡單多了。
# Python 3.6+ print(f"{batch:3} {epoch:3} / {total_epochs:3} accuracy: {numpy.mean(accuracies):0.4f}±{numpy.std(accuracies):0.4f} time: {time / len(data_batch):3.2f}")
而且,在編寫查詢或生成代碼片段時非常方便:
query = f"INSERT INTO STATION VALUES (13, "{city}", "{state}", {latitude}, {longitude})"嚴格排序
下面這些比較操作在python3里是非法的
# All these comparisons are illegal in Python 3 3 < "3" 2 < None (3, 4) < (3, None) (4, 5) < [4, 5] # False in both Python 2 and Python 3 (4, 5) == [4, 5]
不同類型的數據無法排序
sorted([2, "1", 3]) # invalid for Python 3, in Python 2 returns [2, 3, "1"]NLP Unicode問題
s = "您好" print(len(s)) print(s[:2]) Output: Python 2: 6 ?? Python 3: 2 您好. x = u"со" x += "co" # ok x += "со" # fail
下面這段代碼在Python2里運行失敗但是Python3會成功運行,Python3的字符串都是Unicode編碼,所以這樣對NLP來說很方便,再比如:
"a" < type < u"a" # Python 2: True "a" < u"a" # Python 2: False
from collections import Counter Counter("M?belstück") Python 2: Counter({"xc3": 2, "b": 1, "e": 1, "c": 1, "k": 1, "M": 1, "l": 1, "s": 1, "t": 1, "xb6": 1, "xbc": 1}) Python 3: Counter({"M": 1, "?": 1, "b": 1, "e": 1, "l": 1, "s": 1, "t": 1, "ü": 1, "c": 1, "k": 1})字典
CPython3.6+里的dict默認的行為和orderdict很類似
import json x = {str(i):i for i in range(5)} json.loads(json.dumps(x)) # Python 2 {u"1": 1, u"0": 0, u"3": 3, u"2": 2, u"4": 4} # Python 3 {"0": 0, "1": 1, "2": 2, "3": 3, "4": 4}
同樣的,**kwargs字典內容的數據和傳入參數的順序是一致的。
from torch import nn # Python 2 model = nn.Sequential(OrderedDict([ ("conv1", nn.Conv2d(1,20,5)), ("relu1", nn.ReLU()), ("conv2", nn.Conv2d(20,64,5)), ("relu2", nn.ReLU()) ])) # Python 3.6+, how it *can* be done, not supported right now in pytorch model = nn.Sequential( conv1=nn.Conv2d(1,20,5), relu1=nn.ReLU(), conv2=nn.Conv2d(20,64,5), relu2=nn.ReLU()) )Iterable unpacking
# handy when amount of additional stored info may vary between experiments, but the same code can be used in all cases model_paramteres, optimizer_parameters, *other_params = load(checkpoint_name) # picking two last values from a sequence *prev, next_to_last, last = values_history # This also works with any iterables, so if you have a function that yields e.g. qualities, # below is a simple way to take only last two values from a list *prev, next_to_last, last = iter_train(args)更高性能的默認pickle engine
# Python 2 import cPickle as pickle import numpy print len(pickle.dumps(numpy.random.normal(size=[1000, 1000]))) # result: 23691675 # Python 3 import pickle import numpy len(pickle.dumps(numpy.random.normal(size=[1000, 1000]))) # result: 8000162
縮短到Python2時間的1/3
更安全的列表推導labels =更簡易的super()predictions = [model.predict(data) for data, labels in dataset] # labels are overwritten in Python 2 # labels are not affected by comprehension in Python 3
# Python 2 class MySubClass(MySuperClass): def __init__(self, name, **options): super(MySubClass, self).__init__(name="subclass", **options) # Python 3 class MySubClass(MySuperClass): def __init__(self, name, **options): super().__init__(name="subclass", **options)Multiple unpacking
合并兩個Dict
x = dict(a=1, b=2) y = dict(b=3, d=4) # Python 3.5+ z = {**x, **y} # z = {"a": 1, "b": 3, "d": 4}, note that value for `b` is taken from the latter dict.
Python3.5+不僅僅合并dict很方便,合并list等也很方便
[*a, *b, *c] # list, concatenating (*a, *b, *c) # tuple, concatenating {*a, *b, *c} # set, union
Python 3.5+ do_something(**{**default_settings, **custom_settings}) # Also possible, this code also checks there is no intersection between keys of dictionaries do_something(**first_args, **second_args)整數類型
python2提供了兩個整數類型:int和long,python3只提供有個整數類型:int,如下的代碼:
isinstance(x, numbers.Integral) # Python 2, the canonical way isinstance(x, (long, int)) # Python 2 isinstance(x, int) # Python 3, easier to remember總結
python3提供了很多新的特性,方便我們編碼的同時,也帶來了更好的安全性和較高的性能。而且官方也一直推薦盡快遷移到python3。當然,遷移的代價因系統而異,希望這篇文章能對你遷移python2到python3有些幫助。
相關文章英文原文
轉自我的博客:捕蛇者說
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/41343.html
摘要:年月宣布支持時間延長到年。更詳細的發布列表參閱官網的版本號分為三段,形如。其中表示大版本號,一般當整體重寫,或出現不向后兼容的改變時,增加表示功能更新,出現新功能時增加表示小的改動如修復了某個,只要有修改就增加。年公司正式發布。 < 返回索引頁 Python語言簡介 Python介紹及發展 介紹 Python 官方網站:https://www.python.org/, 大家可以到此處下...
摘要:快速開始在安裝之前在支持異步的過程中,都經歷了哪些比較重大的更新。踏出第一步我們將正式使用來構建一個項目,讓我們踏出第一步,利用來編寫一個返回字符串的服務程序。本次示例的源代碼全部在上,見。 快速開始 在安裝Sanic之前,讓我們一起來看看Python在支持異步的過程中,都經歷了哪些比較重大的更新。 首先是Python3.4版本引入了asyncio,這讓Python有了支持異步IO的標...
摘要:截止到月號上午點,將終結于在這一段時間中,很多優秀開源項目與庫已經停止了對的支持。除了,還提供了一種通過進行字符串插入的靈活方法。擴展的可迭代對象解包最低版本為對于這個特性,代碼就說明了一切。從 3.0 到 3.8,Python 3 已經更新了一波又一波,但似乎我們用起來和 2.7 沒有太大區別?以前該怎么寫 2.7 的代碼現在就怎么寫,只不過少數表達方式變了而已。在這篇文章中,作者介紹了 ...
摘要:截止到月號上午點,將終結于在這一段時間中,很多優秀開源項目與庫已經停止了對的支持。除了,還提供了一種通過進行字符串插入的靈活方法。擴展的可迭代對象解包最低版本為對于這個特性,代碼就說明了一切。從 3.0 到 3.8,Python 3 已經更新了一波又一波,但似乎我們用起來和 2.7 沒有太大區別?以前該怎么寫 2.7 的代碼現在就怎么寫,只不過少數表達方式變了而已。在這篇文章中,作者介紹了 ...
摘要:添加補全源一般如果沒有安裝任何源,則自動補全只會根據當前文件已有的名字進行猜測。我們要的效果是根據語言的特性,補全引用自帶庫第三方庫的所有類函數等。 Nvim用的是Shougo開發的NCM,但是在VIM 8+就要用同一個作者開發的Deoplete. 參考官網:Shougo/deoplete.nvim 注意:這里只講怎么給vim8安裝。 安裝 第一步:安裝所有依賴 # 安裝VIM 8 #...
閱讀 1660·2021-09-28 09:35
閱讀 1131·2019-08-30 15:54
閱讀 1657·2019-08-30 15:44
閱讀 3363·2019-08-30 14:09
閱讀 488·2019-08-29 14:05
閱讀 2662·2019-08-28 17:53
閱讀 1978·2019-08-26 13:41
閱讀 1710·2019-08-26 13:26