python - Number of iterations as a hyper-parameter in neural network

Question

How to determine what's the optimal number of iterations in learning a neural network?

标签： pythonneural-network

Answer 1

一种方法是将训练数据拆分为训练集和验证集。在训练过程中，训练集上的误差应该稳步下降。验证集上的错误会减少，并在某个时候再次开始增加。此时网络开始过度拟合训练数据。这意味着该模型适应数据中的随机变化，而不是学习真正的规律。您应该保留总体验证错误最低的模型。这称为提前停止。或者，您可以使用Dropout。有了足够高的 Dropout 概率，你基本上可以训练多久就训练多久，过度拟合不会是一个大问题。