时间戳

首页 > 解决方案 > 为什么有些神经网络结构无法适应问题？

python - 为什么有些神经网络结构无法适应问题？

问题描述

我正在玩我为xor-ing 编写的神经网络代码。我写了这个模型：

import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt

model = keras.Sequential()
model.add(tf.keras.Input(shape=(2,)))
#model.add(keras.layers.Dense(2))
model.add(keras.layers.Dense(4, activation='relu'))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

optimizer = keras.optimizers.Adam(lr=0.2) #for example
model.compile(optimizer=optimizer,
              loss=tf.losses.BinaryCrossentropy(),
              metrics=['accuracy'])

# X_train, Y_train = ([[0, 0], [0, 1], [1, 0], [1, 1]], [[0], [1], [1], [0]])
X_train = tf.cast([[0, 0], [0, 1], [1, 0], [1, 1]], tf.float32)
Y_train = tf.cast([0, 1, 1, 0], tf.float32)

# train model and plot loss
hist = model.fit(X_train, Y_train, epochs=10000)
plt.plot(hist.history['loss'])
plt.show()

print(model.predict([[0, 1]]))
print(model.predict([[1, 1]]))
print(model.predict([[1, 0]]))
print(model.predict([[0, 0]]))

有一半的时间我会在这个模型中获得 100% 的准确率，而有一半的时间我只会得到 75%（有时甚至是 50%）。即使经过 10000 个 epoch，模型也找不到适合的方法！

我注意到，简单地切换层，如下面的代码所示，总是会产生 100% 的准确度。

model.add(tf.keras.Input(shape=(2,)))
#model.add(keras.layers.Dense(2))
#model.add(keras.layers.Dense(4, activation='relu'))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

问题

为什么会这样？为什么这个简单的模型即使在 10K epochs 之后也不能很好地拟合，而新模型需要少于 500 个 epochs？是什么让旧模型特别收敛到这个百分比？

标签： pythontensorflowmachine-learningneural-networkxor

解决方案

对于异或问题架构，2 个隐藏的 1 个输出神经元能够解决它。我想提到的第一件事是我们对问题的看法。我知道这在我们人类看来是微不足道的，但这并不意味着对于这些简单的网络来说也是微不足道的。

XOR 是线性不可分问题的典型例子。根据我的经验，当我尝试使用 [2, 1] 架构解决它时，我是成功的，但它也需要很多 epoch。

第二件事，这些架构有时无法在给定的时期解决。几乎可以保证，如果你训练的时间更长，你就会得出结论（有时太长了）。

第三件事是。我提到 [2, 1] 可以解决这个问题。让我们关注 2。2 个隐藏的神经元意味着你有两个非线性的输入组合。所以你将二维空间映射到二维空间，非线性让你有机会在这个新空间中输入可分离。这就是问题所在，对于神经网络来说，这种映射可能很难分离。当您使用 16 hidden 时，您会创建 16 个非线性组合，并且从您的结果中我们看到更容易找到好的分离。

推荐阅读