时间戳

首页 > 解决方案 > Tensorflow Keras：在 model.fit() 上训练 Holting

python - Tensorflow Keras：在 model.fit() 上训练 Holting

问题描述

我是 tensorflow 和 python 的新手，所以我确信它只是一些愚蠢的东西。但是当我尝试使用 model.fit() 训练我的模型时，经过随机次数的训练迭代后，它会冻结。GPU 使用率归零，并且没有显示错误消息来指示错误所在。我正在尝试训练的模型如下：

SizeOfInput = 50
VocabSize = 8000
EmbeddingSize = 200

model = Sequential()
model.add(Embedding(input_dim=VocabSize, output_dim=EmbeddingSize, input_length=SizeOfInput))
model.add(LSTM(256, input_shape=(SizeOfInput, EmbeddingSize), return_sequences=True))
model.add(Dropout(0.1))
model.add(LSTM(256))
model.add(Dropout(0.1))
model.add(Dense(VocabSize, activation='softmax'))

optimizer = tf.keras.optimizers.RMSprop(lr=1e-3, decay=1e-5)
model.compile(loss='categorical_crossentropy', optimizer=optimizer)

张量流：2.2.0

蟒蛇：3.8

显卡：RTX2080Ti

我正在从一个更大的数据集中训练 10000 个随机采样的每个时期 50 个整数的序列：

model.fit(x, y, batch_size=100, epochs=1)

我真的不知道问题是什么，如果您需要更多信息，请告诉我

标签： pythontensorflowkerastensorflow2.0freeze

解决方案

1.首先请在Google Colab中尝试您的代码

2.尝试使用另一个优化器：

keras.layers.BatchNormalization._USE_V2_BEHAVIOR = False

3.也许有些操作在 cpu 中运行，有些操作在 GPU 中运行。为了防止它：

with tf.device("/device:GPU:0"):
    model.fit(x, y, batch_size=100, epochs=1)

3.更新最新版本

tf-nightly-gpu 
tf-gpu 2.1 cudn 10.2

4.测试这个：

print(tf.version.VERSION, tf.executing_eagerly(), keras.layers.BatchNormalization._USE_V2_BEHAVIOR)

keras.layers.BatchNormalization._USE_V2_BEHAVIOR = False

推荐阅读