python - 这是为什么 ！具有特殊 sigmoid 激活函数的低精度

Question

我正在研究激活函数。但是，我在编写的激活函数中获得了恒定（低）的成功率。例如，我得到一个恒定的成功率，尤其是在 exp() 表达式中。示例工作代码如下；但是，当我将 sigmoid 函数定义为 sigmoid (x) 时，我可以获得很高的成功率。我不知道该怎么办。如果你能在这一点上帮助我，我将不胜感激。干得好。

import tensorflow as tf

def Sech(x): #Sigmoid 
   return 1.0 / (1.0 + tf.exp(-x))

get_custom_objects().update({'Sech': Activation(Sech)})
model.add(Dense(128, input_dim=24))
model.add(Activation(Sech))
model.add(BatchNormalization())

标签： pythonfunctionkerasactivation