machine-learning - 不同的随机权重初始化导致不同的性能

Question

我正在大脑的 EM 数据集上训练 3D U-Net。目标是分割其中的神经元。在实验过程中，我注意到，网络的不同随机初始化会导致不同的性能。我根据平均交叉联合来评估性能，我观察到差异高达 5%。

我使用均匀分布的 xavier 初始化，并使用 1e-4 的恒定学习率。

编辑：我在问如何避免这样的行为？

标签： machine-learningneural-networkcomputer-visionconv-neural-networkconvergence

Answer 1

正如罗伯托所说，不同的随机初始化总是导致不同的结果权重。这是非常明显的，因为初始状态限制了可能的系统轨迹。

如果您阅读介绍 Xavier init 的论文，您会发现众所周知，随机 init 对最终性能有很大的 init 影响（有一篇论文表明，使用随机 init 进行的数百次训练运行都以不同的方式结束局部最小值，但我现在找不到）。这就是我们使用 Xavier init 之类的启发式算法的原因：与其他形式的随机初始化相比，它们往往会导致更好的局部最小值。

通常，一个人执行多次训练运行（例如 10 次）并采用最佳架构，在文章中，有时也会报告平均值。