python - keras model.get_weight 未返回预期尺寸的结果

Question

我正在使用 keras 对 mnist 数据集进行分类。我有兴趣对训练后生成的权重矩阵进行一些操作，但有些层权重矩阵看起来没有完全连接。

model = Sequential()
model.add(Dense(1000, input_shape = (train_x.shape[1],), activation='relu' ))
model.add(Dense(1000, activation='relu'))
model.add(Dense(500, activation='relu'))
model.add(Dense(200, activation='relu'))
model.add(Dense(10, activation='softmax'))

model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics = ['accuracy'])
model.fit(train_x,train_y, epochs=10, validation_data= (test_x,test_y))

w = model.get_weights()

for i in range(5):
        print(w[i].shape)

现在，当我打印每一层的权重矩阵的尺寸时，我得到以下结果

(784, 1000)
(1000,)
(1000, 1000)
(1000,)
(1000, 500)

为什么第二个有（1000，）而不是（1000,1000）？

标签： pythontensorflowkerasdeep-learningkeras-layer

Answer 1

因为这是偏见。不要忘记该层由（有时也写为）定义。

假设 的形状x是(None, 784)，权重的形状w是(784, 1000)。运算结果matmul(x, w)为形状(None, 1000)。对于此形状的结果张量，您正在添加(1000, )沿None维度广播的形状偏差。