python - keras 的 Kaiming 初始化

Question

我的模型层正在使用relu 激活函数。我将 he_uniform 用于内核初始化程序，但我看到kaiming 初始化提供了比 he_uniform 更好的结果。我正在使用 keras，而 keras 没有 kaiming 初始化程序，我该如何实现呢？

标签： pythontensorflowmachine-learningkerasdeep-learning

Answer 1

混淆源于命名约定，区别在于用名字或姓氏命名。基本上，本文提出的初始化方法由何凯明合着。但是，框架实现有所不同；

通过 Keras 后端的 TensorFlow 使用名称He初始化。Torch 使用Kaiming初始化作为方法名称。

事实上，这同样适用于 Glorot/Xavier 初始化。请参阅Xavier Glorot 合着的论文。

在这里，通过 Keras 的 Tensorflow 使用姓氏Glorot，而 Torch 使用名字Xavier。