摘要：統計分布庫的初始版本。允許將邊界傳遞到最優化接口。從版本開始，這樣的模型將接受導出時指定的密鑰。更新示例以使用，并移動到中。此外，此更改增加了設備列表中的主要以支持指定。廣播語義密切跟隨式廣播。

Tensorflow

主要特征和改進

在Tensorflow庫中添加封裝評估量。所添加的評估量列表如下：

1. 深度神經網絡分類器（DNN Classifier）

2. 深度神經網絡回歸量（DNN Regressor）

3. 線性分類器（Linear Classifier）

4. 線性回歸量（Linea rRegressor）

5. 深度神經網絡線性組合分類器（DNN Linear Combined Classifier）

6. 深度神經網絡線性組合回歸量（DNN Linear Combined Regressor）

?我們所有預構建的二進制文件都是用cuDNN 6構建的。

?import tensorflow現在運行要快得多。

?將文件緩存添加到GCS文件系統中，其中文件內容具有可配置的較大失效期（configurable max staleness）。這允許跨關閉/開放邊界緩存文件內容。

?將軸參數（axis parameter）添加到tf.gather中。

?向tf.pad中添加一個constant_values關鍵字參數。

?添加Dataset.interleave轉換。

?添加ConcatenateDataset以連接兩個數據集。

?在TensorFlow中為Poets訓練腳本添加Mobilenet 的支持。

?將塊緩存添加到具有可配置塊大小和計數的GCS文件系統中。

?添加SinhArcSinh Bijector。

?添加Dataset.list_files API。

?為云TPU引進新的操作和Python綁定。

?添加與tensorflow-android相對稱的TensorFlow-iOS CocoaPod。

?引入集群解析器（Cluster Resolver）的基本實現。

?統一TensorShape和PartialTensorShape的內存表示。因此，張量現在最多有254個維度，而不是255個。

?更改對LIBXSMM的引用版本，使用1.8.1版本。

?TensorFlow調試器（tfdbg）：

1. 使用-s標志顯示數字張量值的概要，用命令print_tensor或pt。

2. 使用curses UI中的print_feed或pf命令和可點擊鏈接顯示Feed值。

3. op級別和Python源代碼行級別的運行分析器（Runtime profiler）使用run -p命令。

?統計分布庫tf.distributions的初始版本。

?一元tf.where和tf.nn.top_k的GPU內核和速度改進。

?將單調注意包裝器（Monotonic Attention wrappers）添加到tf.contrib.seq2seq。

?添加tf.contrib.signal，一個用于信號處理原語的庫。

?添加tf.contrib.resampler，它包含CPU和GPU操作，用于區分圖像的重采樣。

API的突破性更改

?當tf.RewriterConfig在1.2版本的候選版本中可用（它從來沒有在實際版本中應用）后將其從Python API中刪除，圖重寫（Graph rewriting）仍然可用，只是不像tf.RewriterConfig那樣。而是添加顯式導入。

?打破對tf.contrib.data.Dataset API期望有一個嵌套結構的更改。列表現在被隱式轉換為tf.Tensor。你可能需要在現有代碼中將列表的用法更改為元組。此外，現在還支持程序具有嵌套結構。

contrib API的更改

?添加tf.contrib.nn.rank_sampled_softmax_loss，這是一個可以提高秩損失（rank loss）的采樣softmax變體。

?當他們看到小于或等于1個單位的權重時，tf.contrib.metrics {streaming_covariance，streaming_pearson_correlation}修改為返回nan。

?在contrib中添加時間序列模型。有關詳細信息，請參閱contrib / timeseries / README.md。

?在tensorflow / contrib / lite / schema.fbs中添加FULLY_CONNECTED操作。

錯誤修正以及其他更改

?在python中使用int64 Tensor index進行切片時，修復strides和begin 類型失配問題。

?改進卷積padding文件。

?添加標簽常量，gpu，以顯示基于GPU支持的圖形。

?saved_model.utils現在顯然是支持SparseTensors的。

?非較大抑制（non-max suppression）更為有效的實現。

?除了對在線L2的支持之外，還增加了對從收縮型L2到FtrlOptimizer的支持。

?固定矩計算中的負方差。

?拓展UniqueOp基準測試，以涵蓋更多的collision案例。

?提高Mac上GCS文件系統的穩定性。

?在HloCostAnalysis中添加時間評估。

?修復Estimator中的錯誤，即構造函數中的參數不是對用戶提供參數的深度復制。這個錯誤無意中使得用戶在創建Estimator之后突變參數，從而導致潛在的未定義的行為。

?在saver.restore中添加了無檢查保存路徑。

?在device_mgr中以舊名稱注冊設備，以便輕松轉換到集群規范傳播（cluster spec-propagated）的配置。

?將向量指數添加到分布中。

?添加一個具有bitwise_and，bitwise_or，bitwise_xor和invert函數的按位模塊（bitwise module）。

?添加固定網格的ODE集成例程。

?允許將邊界傳遞到scipy最優化接口。

?將fft_length參數修正為tf.spectral.rfft＆tf.spectral.irfft。

?使用“預測”方法導出的模型簽名將不再使其輸入和輸出密鑰被靜默地忽略，且被重寫為“輸入”和“輸出”。如果一個模型在1.2版本之前以不同的名稱導出，并且現在使用tensorflow / serving，它將接受使用"inputs"和"outputs"的請求。從1.2版本開始，這樣的模型將接受導出時指定的密鑰。因此，使用“輸入”和“輸出”的推理請求可能會開始有所失敗。為了解決這個問題，請更新任何推理客戶端，以發送具有訓練器代碼所使用的實際輸入和輸出密鑰的請求，或者相反地，更新訓練器代碼以分別命名輸入和輸出張量為"inputs"和 "outputs"。使用“分類”和“回歸”方法的簽名不會受此更改的影響；它們將繼續像以前一樣規范其輸入和輸出鍵。

?將內存中的緩存添加到Dataset API中。

?將數據集迭代器中的默認end_of_sequence變量設置為false。

? [Performance]通過使用nn.bias_add將use_bias = True設置為2x，可以提高tf.layers.con2d的性能。

?更新iOS示例以使用CocoaPods，并移動到tensorflow / examples / ios中。

?在tf.summary操作中添加一個family =attribute，以允許控制Tensorboard中用于組織摘要的選項卡名稱。

?當配置GPU時，如果在configure腳本中存在請求，則可根據請求自動構建GPU，而不需要--config = cuda。

?修復CPU / GPU多項式中小概率的不正確采樣。

?在session上添加一個list_devices（）API以列出集群中的設備。此外，此更改增加了設備列表中的主要API以支持指定session。

?允許使用過參數化的可分離卷積。

?TensorForest多重回歸錯誤修復。

?框架現在支持armv7，cocoapods.org現在可顯示正確的頁面。

?為CocoaPods創建iOS框架的腳本。

?現在，TensorFlow的Android版本已經被推到了jcenter，以便更方便地集成到應用中。

?TensorFlow調試器（tfdbg）：

1.修復了一個阻止tfdbg使用多GPU設置的錯誤。

2.修復了一個阻止tfdbg使用tf.Session.make_callable的錯誤。

Pytorch0.2.0

這里是PyTorch的下一個主要版本，恰恰趕上了國際機器學習大會（ICML）。

我們引入了期待已久的功能，如廣播、高級索引、高階梯度梯度，最后是分布式PyTorch。

由于引入了廣播，某些可廣播情況的代碼行為與0.1.12中的行為不同。這可能會導致你現有代碼中出現錯誤。我們在“重要破損和解決方法”部分中提供了輕松識別此模糊代碼的方法。

目錄：

?張量廣播（numpy樣式）

?張量和變量的高級索引

?高階梯度

?分布式PyTorch（多節點訓練等）

?神經網絡層和特征：SpatialTransformers、WeightNorm、EmbeddingBag等

?torch 和 autograd的新應用：矩陣相乘、逆矩陣等

?更容易調試，更好的錯誤信息

?Bug修復

?重要的破損和解決方法

張量廣播（numpy樣式）

簡而言之，如果PyTorch操作支持廣播，則其張量參數可以自動擴展為相同大?。ú粡椭茢祿?/p>

PyTorch廣播語義密切跟隨numpy式廣播。如果你熟悉數字廣播，可以按照之前流程執行。

一般語義學

如果以下規則成立，則兩個張量是“可廣播的”：

?每個張量具有至少一個維度。

?當從尺寸大小開始迭代時，從尾部維度開始，尺寸大小必須相等，其中一個為1，或其中一個不存在。

例如：

如果兩個張量x、y是“可廣播”的，則所得到的張量大小計算如下：

?如果x和y的維數不相等，則將尺寸縮小到尺寸較小的張量的前端，以使其長度相等。

?然后，對于每個維度大小，生成的維度大小是沿該維度的x和y的大小的較大值。

例如：

# can line up trailing dimensions to make reading easier

>>> x=torch.FloatTensor(5,1,4,1)

>>> y=torch.FloatTensor( ?3,1,1)

>>> (x+y).size()

torch.Size([5, 3, 4, 1])

# error case

>>> x=torch.FloatTensor(5,2,4,1)

>>> y=torch.FloatTensor( ?3,1,1)

>>> (x+y).size()

RuntimeError: The size of tensor a (2) must match the size of tensor b (3) at non-singleton dimension 1

更多細節可以在PyTorch文檔網站上找到。此外，每個torch函數列出了其文檔中的廣播語義。

張量和變量的高級索引

PyTorch現在支持NumPy樣式的高級索引的子集。這允許用戶使用相同的[]-樣式操作在Tensor的每個維度上選擇任意索引，包括不相鄰的索引和重復的索引。這使得索引策略更靈活，而不需要調用PyTorch的索引[Select, Add, ...]函數。

我們來看一些例子：

x = torch.Tensor(5, 5, 5)

純整數組索引—在每個維度上指定任意索引

x[[1, 2], [3, 2], [1, 0]]

--> yields a 2-element Tensor (x[1][3][1], x[2][2][0])

也支持廣播、副本

x[[2, 3, 2], [0], [1]]

--> yields a 3-element Tensor (x[2][0][1], x[3][0][1], x[2][0][1])

允許任意索引器形狀

x[[[1, 0], [0, 1]], [0], [1]].shape

--> yields a 2x2 Tensor [[x[1][0][1], x[0][0][1]],

? ? ? ? ? ? ? ? ? ? ? ? ?[x[0][0][1], x[1][0][1]]]

可以使用冒號、省略號

x[[0, 3], :, :]

x[[0, 3], ...]

--> both yield a 2x5x5 Tensor [x[0], x[3]]

也可以使用張量來索引！

y = torch.LongTensor([0, 2, 4])

x[y, :, :]

--> yields a 3x5x5 Tensor [x[0], x[2], x[4]]

如果選擇小于ndim，請注意使用逗號

x[[1, 3], ]

--> yields a 2x5x5 Tensor [x[1], x[3]]

高階梯度

現在你可以評估PyTorch中的高階微分。例如，你可以計算Hessian-Vector，懲罰你的模型的梯度梯度的范數，實施unrolled GAN和改良WGAN等。

在0.2版本中，我們已經能夠為torch.XXX函數和最流行的nn層計算更高階的梯度。其余的將出現在下一個版本中。

這是一個簡短的例子，懲罰了Resnet-18模型的權重梯度的范數，使權重的數量變化緩慢。

?

我們在這里看到兩個新概念：

?torch.autograd.grad是一個輸入[輸出,輸入列表（你需要梯度）]的函數，并返回梯度wrt。這些輸入作為元組，而不是將梯度累加到.grad屬性中。如果你想進一步操作梯度，這對你會很有用。

?你可以對梯度進行操作，并向后調用（）。

支持更高階梯度的nn層的列表有：

? AvgPool*d, BatchNorm*d, Conv*d, MaxPool1d,2d, Linear, Bilinear。

? pad, ConstantPad2d, ZeroPad2d, LPPool2d, PixelShuffle。

? ReLU6, LeakyReLU, PReLU, Tanh, Tanhshrink, Threshold, Sigmoid, HardTanh, ELU,Softsign, SeLU。

? L1Loss, NLLLoss, PoissonNLLLoss, LogSoftmax, Softmax2d。

其余的將在下一個版本中啟用。

為了實現更高階的梯度，我們引入了一種新的autograd.Function寫入格式。（寫入函數的當前/舊樣式完全向后兼容）。你可以點擊此處鏈接閱讀更多關于新樣式的函數。

大多數人不寫自己的autograd.Function，它們是低級基元使得autograd引擎完成新操作，你可以指定正向和反向調用。

分布式PyTorch

我們介紹torch.distributed包，允許你在多臺機器之間交換張量。使用此軟件包，你可以通過多臺機器和更大的小批量擴展網絡訓練。例如，你將能夠實現《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》這篇論文。

distributed軟件包遵循MPI風格的編程模型。這意味著你可以得到很多函數，如send，recv，all_reduce，它將在節點（機器）之間交換張量。

對于每個機器，首先識別彼此并分配的數字（等級），我們提供簡單的初始化方法：

?共享文件系統（要求所有進程可以訪問單個文件系統）

?IP組播（要求所有進程都在同一個網絡中）

?環境變量（需要你手動分配等級并知道所有進程可訪問節點的地址）

我們的包文檔中包含有關初始化和可用后端的更多詳細信息，但以下是使用多播地址進行初始化的示例：

mport torch.distributed as dist

dist.init_process_group(backend="tcp", ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ? ? ?init_method="tcp://[ff15:1e18:5d4c:4cf0:d02d:b659:53ba:b0a7]:23456", ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ?world_size=4)

print("Hello from process {} (out of {})!".format(

? ? ? ? dist.get_rank(), dist.get_world_size()))

這將在第3臺機器上打印Hello from process 2 (out of 4)。

world大小是參與工作的過程的數量。每個將被分配一個等級，它是0和world_size-1之間的數字，在此作業中是的。它將用作進程標識符，并且將被代替地址使用，例如，指定張量應被發送到哪個進程。

這是一個代碼段，顯示如何執行簡單的點對點通信：

?

異步p2p函數（isend,irecv）也可用。

然而，一些通信模式出現頻繁，導致已經開發出更有效的集體調用。他們通常參與整個過程組，并且比使用send / recv的單純算法要快得多。一個例子是all_reduce：

?

分布式軟件包是相當低級別的，因此它允許實現更先進的算法，并將代碼定制到特定的目的，但數據并行訓練是我們為此創建高級輔助工具的常見方法。

因此，我們引入了DistributedDataParallel，這意味著幾乎可以替代nn.DataParallel。

以下是一個代碼段，展示了將其添加到現有訓練代碼中所需的更改：

?

你可以在這里看到更完整的Imagenet訓練示例

新的nn層：SpatialTransformers，WeightNorm，EmbeddingBag等

新功能

?引入forward_pre_hook來在調用forward函數之前執行用戶指定的閉包。

?方便訪問非葉梯度（non-leaf gradients）：

目前，要訪問并檢查中間值的梯度，我們必須使用鉤（hooks）。這不方便進行簡單的檢查，因此，我們引入retain_grad。較好通過一個例子來解釋：

?

?DataParallel現在支持dicts作為輸入

新圖層

?空間變換神經網絡通過F.grid_sample和F.affine_grid。

?nn.SeLU和nn.AlphaDropout被引入，論文：《自標準化神經網絡》。

?nn.GLU（門控線性單元）被引入，論文：《卷積序列到序列學習》。

?權重歸一化現在通過torch.utils.weight_norm來實現。

?現在可以使用ignore_index參數計算cross_entropy_loss和nll_loss來忽略特定的目標索引。這是實現掩碼的廉價實用方式，你可以在其中使用在計算損失時忽略的掩碼索引。

?F.normalize 實現了按維度的重歸一化。

?F.upsample和nn.Upsample將多個Upsampling層合并成一個函數。它實現了2d和3d雙線性/三線性/最近的上采樣。

?nn.EmbeddingBag：當構建詞袋模型時，執行一個Embedding 跟Sum或Mean是很常見的。對于可變長度序列，計算降維包涉及掩碼。我們提供了一個單一的nn.EmbeddingBag，它能高效和快速地計算降維包，特別是對于可變長度序列。

?通過bce_with_logits數值穩定的二進制交叉熵損失。

?通過PoissonNLLLoss進行目標泊松分布的負對數似然損失。

?cosine_similarity：返回x1和x2之間的余弦相似度，沿著dim計算。

訓練效用

學習率調度程序：torch.optim.lr_scheduler提供了幾種無聲和智能的方法來調整當前的學習率。它們在訓練中相當方便，為用戶想要做的事情提供方便。

提供各種策略，可以根據適當情況使用，更多可以在文檔包中閱讀：

?ReduceLROnPlateau，LambdaLR，StepLR，MultiStepLR，ExponentialLR

ConcatDataset是一個方便的數據集元類，可以合并和連接兩個多帶帶的數據集。

torch 和 autograd的新應用

?所有reduce函數如sum和mean，現在默認壓縮縮小的維度。例如，torch.sum（torch.randn（10,20））返回1D Tensor。

?x.shape，類似于numpy。 一個方便的屬性，相當于x.size（）。

?torch.matmul，類似于np.matmul。

?按位和，或，xor，lshift，rshift。

?autograd支持反向，gesv，cumprod，atan2。

?無偏差的var和std現在可以通過關鍵字參數選項。

?torch.scatter_add - torch.scatter，除了遇到重復索引時，這些值被求和。

?當沒有給出參數時，torch.median的行為類似于torch.sum，即它減小所有尺寸，并返回扁平化Tensor的單個中值。

?masked_copy_已重命名為masked_scatter_（在masked_copy_上已棄用）。

?torch.manual_seed現在也seed所有的CUDA設備。

?你現在可以通過關鍵字參數torch.rand（1000，generator = gen）指定隨機數生成器對象。

錯誤修復和小改進

現在，當將變量轉換為bool時，我們會發出錯誤。例如：

b = Variable(torch.zeros(1))

if b[0]: # errors now

?在CUDA中解決qr分解中的正確性錯誤。

?支持IBM PowerPC64平臺。

?檢查編譯時的CuDNN版本是否在運行時是相同的版本。

?改進CUDA分叉子進程中的錯誤消息。

?在CPU上更快的轉置拷貝。

?改進InstanceNorm中的錯誤消息。

?為各種例程添加更多的參數檢查，特別是BatchNorm和Convolution例程。

?圍繞CPU后端的形狀報告更好的錯誤消息。

?支持每臺機器超過8個GPU（解決CUDA p2p限制）。

?訪問不存在的屬性時，改進錯誤消息。

?變量的T（）與Tensor一致。

?當退出p = 1時，防止除以零。

?修復在非當前設備上共享CUDA張量。

?當BNε<允許的CuDNN值時，回退到THNN。

?對于MKL和OMP使用不同數量的線程時，修復線程丟失。

?改善使用CuDNN RNN時的內存使用。

?用負的padding將ZeroPad2d向后修復。

?添加虛擬tensor.data屬性，為用戶提供可解釋的錯誤消息。

?修復Python3的原位劃分。

?在0-dim數組上調用from_numpy時提高誤差。

?空的張量在多處理器間共享時不會出錯。

?修復擴展張量的baddbmm。

?讓parallel_apply接受任意輸入。

?張量和變量中的關鍵字參數現在是一致的。

?當Magma不可用時修復torch.inverse。

?為ByteTensor添加邏輯非運算符。

?在分散/收集內核中添加設備判斷提示。

重要的破損和解決方法

如你所見，我們引入了兩個不能向后兼容的重要更改：

?Numpy樣式廣播。

?還原函數如sum（1）現在默認為keepdim = False。

我們提供不同級別的Python警告，你可以啟用以警告你，如果你使用不贊成的行為，或者你的代碼的行為已更改。

摘要

這是一個代碼片段，你可以添加到腳本的頂部。

添加此代碼將生成突出顯示不兼容代碼的警告。

修復代碼不再生成警告。

?

一旦所有警告消失，你可以刪除代碼段。

詳情

現在，讓我們看看這三個不相容的變化與例子。

使用（現已棄用）1維視圖點分函數

PyTorch的先前版本允許某些點函數在不同形狀的張量上執行，只要每個張量中的元素數量相等即可。 然后通過將每個張量視為一維來執行點操作。 PyTorch現在支持廣播。 “一維”點行為被認為是不推薦的，并且在張量不可廣播但具有相同數量的元素的情況下會產生Python警告。

例如：

?

在以前沒有發生過的代碼中進行廣播

在兩張張量不相同的情況下，廣播的引入可能導致向后不兼容的變化，但是可以廣播并具有相同數量的元素。

例如：

>>> torch.add(torch.ones(4,1), torch.randn(4))

以前會產生一個尺寸為：torch.Size（[4,1]）的張量，但現在生產的尺寸為：torch.Size（[4,4]）。

為了幫助識別你的代碼中可能存在向后引入的不兼容性的情況，你可以將torch.utils.backcompat.broadcast_warning.enabled設置為True，在這種情況下會生成一個python警告。

例如：

>>> torch.utils.backcompat.broadcast_warning.enabled=True

>>> torch.add(torch.ones(4,1), torch.ones(4))

__main__:1: UserWarning: self and other do not have the same shape, but are broadcastable, and have the same number of elements.

請注意，此設置可以觸發廣播有效使用的警告（包括庫代碼），因此你可能希望在遷移代碼后關閉此警告。

還原函數的KeepDim = False。

要在使用默認的keepdim參數使用維度縮減功能時發出警告，請將torch.utils.backcompat.keepdim_warning.enabled設置為True。 例如：

>>> torch.sum(torch.ones(2,3), 1)

__main__:1: UserWarning: backwards compatibility: call to "sum" uses default value for keepdim which has changed default to False. ?Consider passing as kwarg.

3

3

[torch.FloatTensor of size 2]

與torch.utils.backcompat.broadcast_warning.enabled一樣，此警告可以從有效的代碼觸發，因此你很可能希望在遷移代碼后禁用此警告。

還要注意，使用keepdim = False可以使你現有的代碼與廣播“正常工作”。 例如：

源代碼（tar.gz）：https://github.com/pytorch/pytorch/archive/v0.2.0.tar.gz。歡迎加入本站公開興趣群

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754