為什么要多帶帶摘出來參數講一下。

因為在訓練的過程中,我們的目標就是找到讓損失函數最小化的參數值。經過訓練之后我們需要將這些參數拿出來做預測,或者在其他地方使用。

所以為了以后方便,我們現在就要摘出來多帶帶講一下:

  • 訪問參數,用于調試、診斷和可視化。
  • 參數初始化。
  • 在不同模型組件間共享參數。

import torchfrom torch import nnnet = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1))X = torch.rand(size=(2, 4))net(X)

這還是簡易實現了一個多層感知機,然后弄了一個X做輸入。

當通過Sequential類定義模型時,我們可以通過索引來訪問模型的任意層。

print(net)

可以看到輸出為:

>>Sequential(  (0): Linear(in_features=4, out_features=8, bias=True)  (1): ReLU()  (2): Linear(in_features=8, out_features=1, bias=True))

我們可以通過前邊的序號得到想要的層。

print(net[0])print(net[1])print(net[2].state_dict())
>>Linear(in_features=4, out_features=8, bias=True)ReLU()OrderedDict([(weight, tensor([[-0.0264, -0.0906,  0.3497,  0.3284, -0.0173,  0.0124,  0.0136,  0.0782]])), (bias, tensor([0.2243]))])

不出意外,我們看到了前兩層是什么。

至于第三個輸出,我們可以看到,這個層包含兩個參數。

[    (        weight,         tensor([[-0.0264, -0.0906,  0.3497,  0.3284, -0.0173,  0.0124,  0.0136,  0.0782]])    ),    (        bias,         tensor([0.2243])    )]
print(type(net[2].bias))print(type(net[0].weight))
>> 

可以看到每個參數都表示為參數(parameter)類的一個實例。

print(net[2].bias)print(net[0].weight)
Parameter containing:tensor([-0.1431,  0.1381, -0.2775,  0.0038, -0.0269,  0.0631, -0.1791,  0.1291],       requires_grad=True)Parameter containing:tensor([[-0.4736,  0.2223, -0.0059,  0.4146],        [-0.1052,  0.2813, -0.2315,  0.2931],        [-0.4990, -0.1991, -0.1453,  0.0369],        [-0.4676,  0.0669, -0.0069, -0.4932],        [-0.4223,  0.0659, -0.3783, -0.1145],        [-0.0460,  0.2386, -0.1586,  0.2148],        [-0.0085, -0.3642,  0.0265,  0.0487],        [ 0.2703, -0.2903,  0.1822, -0.3782]], requires_grad=True)

相應的層序號+方法調用,提取網絡的偏置或參數。

print(*[(name, param.shape) for name, param in net[0].named_parameters()])print(*[(name, param.shape) for name, param in net.named_parameters()])print(*net.named_parameters(),end="/n",sep=/n)# 這里*是一個解包器 ,用于輸出列表的每一個元素
>>(weight, torch.Size([8, 4])) (bias, torch.Size([8]))(0.weight, torch.Size([8, 4])) (0.bias, torch.Size([8]))(2.weight, torch.Size([1, 8])) (2.bias, torch.Size([1]))(0.weight, Parameter containing:tensor([[ 0.3700,  0.3270, -0.3741, -0.1365],        [ 0.2200,  0.0786,  0.1241, -0.2834],        [ 0.3143,  0.3718,  0.3278,  0.0949],        [ 0.1565,  0.4639, -0.1515, -0.4962],        [ 0.3102, -0.0025, -0.0099, -0.4132],        [ 0.1754, -0.1320, -0.3762, -0.1371],        [-0.3860, -0.0369,  0.3743, -0.0892],        [ 0.0280, -0.2877, -0.1884,  0.2915]], requires_grad=True))(0.bias, Parameter containing:tensor([ 0.4722, -0.4143,  0.0858, -0.2280,  0.4349,  0.3954,  0.0971, -0.1192],       requires_grad=True))(2.weight, Parameter containing:tensor([[ 0.0984,  0.0207, -0.1292,  0.0530, -0.0693,  0.0413, -0.2231, -0.3125]],       requires_grad=True))(2.bias, Parameter containing:tensor([0.1844], requires_grad=True))

關于解包器看這里:Python * ** 打包解包詳解 - 掘金 (juejin.cn)

我把三個輸出分開了。

  • 第一個是解包net的第0層的參數參數名稱和參數形狀
  • 第二個是解包net所有層的參數名稱和參數形狀
  • 第三個是解包net的參數列表

還可以這樣獲取參數列表:

print(net.state_dict()[2.bias].data)print(net.state_dict()[0.weight])
>>tensor([0.1844])tensor([[ 0.3700,  0.3270, -0.3741, -0.1365],        [ 0.2200,  0.0786,  0.1241, -0.2834],        [ 0.3143,  0.3718,  0.3278,  0.0949],        [ 0.1565,  0.4639, -0.1515, -0.4962],        [ 0.3102, -0.0025, -0.0099, -0.4132],        [ 0.1754, -0.1320, -0.3762, -0.1371],        [-0.3860, -0.0369,  0.3743, -0.0892],        [ 0.0280, -0.2877, -0.1884,  0.2915]])

后邊不管加不加.data都可以直接輸出參數的值。

def block1():    return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),                         nn.Linear(8, 4), nn.ReLU())def block2():    net = nn.Sequential()    for i in range(4):        # 在這里嵌套        net.add_module(fblock {i}, block1())    net[2] = nn.Linear(4,4)    return netX = torch.rand(size=(2, 4))rgnet = nn.Sequential(block2(), nn.Linear(4, 1))rgnet(X)

定義一個嵌套的網絡。隨手畫了個圖,長這樣。

print(rgnet)

輸出一下這個網路哦,可以看到其結構如下:

>>Sequential(  (0): Sequential(    (block 0): Sequential(      (0): Linear(in_features=4, out_features=8, bias=True)      (1): ReLU()      (2): Linear(in_features=8, out_features=4, bias=True)      (3): ReLU()    )    (block 1): Linear(in_features=4, out_features=4, bias=True)    (block 2): Sequential(      (0): Linear(in_features=4, out_features=8, bias=True)      (1): ReLU()      (2): Linear(in_features=8, out_features=4, bias=True)      (3): ReLU()    )  )  (1): Linear(in_features=4, out_features=1, bias=True))

比如:

print(rgnet[0][2][0].bias.data)print(rgnet.state_dict()[0.block 2.0.bias])
>>tensor([-0.1555,  0.4410, -0.4920,  0.1434,  0.1243,  0.4114, -0.0883,  0.1387])tensor([-0.1555,  0.4410, -0.4920,  0.1434,  0.1243,  0.4114, -0.0883,  0.1387])

在這種情況下要取到其中的參數,第一個放大就是增加一個地址而已。
第二種方法要首先指明在哪一個塊。再指明哪一個塊上的哪一層。


本文是《動手學深度學習》的筆記,Github地址:DeepLearningNotes/d2l(github.com)

還在更新中…………