python - Keras:可重现的结果 CPU 上的简单 MLP
问题描述
我正在构建和测试一个简单的 MLP 模型,但在我的结果中遇到了 Keras 可重复性的问题。我正在尝试设置我的神经网络,以便在我运行网络时预测输出不会改变。
我已经在线阅读了 Keras 指南以及这篇文章(Reproducible results using Keras with TensorFlow backend)。我在本地机器上使用 Tensorflow 后端和以下版本运行 Keras:
张量流 2.0.0-alpha0,keras 2.2.4-tf,numpy 1.16.0
import os
os.environ['PYTHONHASHSEED']=str(0)
import random
random.seed(0)
from numpy.random import seed
seed(1)
import tensorflow as tf
tf.compat.v1.set_random_seed(2)
from keras import backend as K
session_conf = tf.compat.v1.ConfigProto(intra_op_parallelism_threads=1, inter_op_parallelism_threads=1)
sess = tf.compat.v1.Session(graph=tf.compat.v1.get_default_graph(), config=session_conf)
K.set_session(sess)
import numpy as np
from tensorflow.python.keras.layers import Dropout, BatchNormalization
from tensorflow.python.keras.optimizers import Adam
from galileo.time_series.machine_learning.classifiers import Machine_Learning_Classifier_Base
from galileo.util.time_util import TimerContextManager
class Machine_Learning_Classifier_Keras(object):
@classmethod
def _get_classifier(cls, n_input_features=None, **params):
KerasClassifier = tf.keras.wrappers.scikit_learn.KerasClassifier
Dense = tf.keras.layers.Dense
Sequential = tf.keras.models.Sequential
sk_params = {"epochs": 200, "batch_size": 128, "shuffle": False}
def create_model(optimizer='adam', init='he_normal'):
# create model
model = Sequential()
model.add(BatchNormalization())
model.add(Dropout(0.2))
model.add(Dense(500, input_dim=4, kernel_initializer=init, activation='relu'))
model.add(BatchNormalization())
model.add(Dropout(0.2))
model.add(Dense(250, kernel_initializer=init, activation='relu'))
model.add(BatchNormalization())
model.add(Dropout(0.2))
model.add(Dense(500, kernel_initializer=init, activation='relu'))
model.add(Dense(1, kernel_initializer=init, activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer=Adam(lr=3e-3, decay=0.85), metrics=['accuracy'])
return model
return KerasClassifier(build_fn=create_model, **sk_params)
if __name__ == "__main__":
X = np.asarray([[0.0, 0.0], [1.0, 1.0], [2.0, 2.5], [1.5, 1.6]])
y = np.asarray([0, 0, 1, 1])
nn = Machine_Learning_Classifier_Keras._get_classifier()
nn.fit(X, y, sample_weight=np.asarray([0, 0, 1, 1]))
values = np.asarray([[0.5, 0.5], [0.6, 0.5], [0.8, 1.0], [0.5, 0.5], [0.5, 0.5], [0.5, 0.5], [0.5, 0.5], [0.5, 0.5]])
probas = nn.predict_proba(values)
print(probas)
我希望我的 predict_proba 值的输出在两次运行之间保持不变;但是,我连续两次运行得到以下结果(结果会有所不同)
Run 1:
[[0.9439231 0.05607685]
[0.91351616 0.08648387]
[0.06378722 0.9362128 ]
[0.9439231 0.05607685]
[0.9439231 0.05607685]
[0.9439231 0.05607685]
[0.94392323 0.05607677]
[0.94392323 0.05607677]]
Run 2:
[[0.94391584 0.05608419]
[0.91350436 0.08649567]
[0.06378281 0.9362172 ]
[0.94391584 0.05608419]
[0.94391584 0.05608419]
[0.94391584 0.05608419]
[0.94391584 0.05608416]
[0.94391584 0.05608416]]
解决方案
您还需要修复kernel_initializer
每一层的种子。例如,可重现的代码如下所示:
np.random.seed(1)
tf.set_random_seed(1)
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(8, activation='relu', kernel_initializer=keras.initializers.he_normal(seed=1), input_shape=[1]))
model.add(tf.keras.layers.Dense(1, activation='linear', kernel_initializer=keras.initializers.he_normal(seed=1)))
我在 TensorFlow GitHub 中打开了一个功能请求票,要求提供一个整合变量来修复所有内核初始化程序的种子。
推荐阅读
- c# - 在 MVVM WPF 中将一个模型连接到多个 ViewModel
- java - java.lang.ClassNotFoundException: com.google.api.client.googleapis.auth.oauth2.GoogleIdTokenVerifier$Builder
- javascript - JQuery用替换功能擦除字段内容
- xslt - 如果多个条目中的相同文本在 XSLT 中使用 group-advancement 移动条目
- azure-devops - Azure DevOps:合并拉取请求时不要将任务状态设置为已关闭
- jquery - Datetimepicker 不是 Vue js 中的函数
- android - 如何将文本放置在抽屉标题的左下角并降低抽屉标题的高度?
- node.js - 保护 JWT 的最佳方法是什么?
- html - 用于 html 中的多个 Linux 服务器运行状况报告的 Shell 脚本,列颜色根据条件变化
- python - 如何在 Python 中为类包含可变的“标签”