python - 什么是在正无穷范围内的非线性激活函数的例子？

Question

我正在训练一个自动编码器来重建一个 TFIDF 向量，其元素可以位于 - 无穷大到 + 无穷大的范围内。除了线性激活之外，我还可以在自动编码器的输出层上使用什么作为可能的非线性激活函数？激活函数需要在 + 无穷到 - 无穷范围内给出输出。

我所有的其他 NN 层，包括“瓶颈”都具有 tanh 激活。我正在使用 cosine_proximity 损失和 Adagrad 优化来指导梯度下降。

我正在使用 Tensorflow 后端在 Keras 中实现上述内容。

标签： pythontensorflowkeras-layerautoencoderactivation-function