tensorflow - 对 tf.keras.layers.Dense() 中的“线性”激活感到困惑

Question

在Arguments 下关于激活的解释中，它说

“线性”激活：a(x) = x。

这很令人困惑。线性激活不应该像wx+b（如果use_bias = True）一样吗？

标签： tensorflowtf.keras

Answer 1

不，Dense层本身计算y = a(wx + b)，并且activation参数所做的是更改a此计算中的函数以具有不同的非线性行为，但如果您需要线性行为，“取消”的唯一方法a是使用线性函数a(x) = x，所以没有修改预激活值（wx + b）。