deep-learning - 在多个数据集上训练深度学习模型时，最好将所有数据集连接起来并打乱它，还是按顺序训练数据集？

Question

因此，假设我有数据集 A、B 和 C 来训练模型。我当前的解决方案从 A 中随机抽取批次，然后从 B 中抽取，然后从 C 中抽取批次。我想知道是否连接所有数据集并进行改组以使训练更加随机会改善结果

标签： deep-learningpytorchdataloader

Answer 1

正如您在评论中指出的那样，数据集中的样本来自略有不同的“分布”（例如，真实与合成图像）。在这种情况下，最好从每个批次的所有数据集中随机采样点，而不是按顺序遍历不同的数据集。