时间戳

首页 > 解决方案 > 如何节省时间进行网格搜索和 k 折交叉验证以进行超参数调整？

machine-learning - 如何节省时间进行网格搜索和 k 折交叉验证以进行超参数调整？

问题描述

我计划使用 k 折交叉验证 (CV) 执行网格搜索，以优化 LSTM 的超参数。假设我有n 个超参数组合并定义了k倍 CV。这意味着我必须运行 LSTM nxk次，这可能是计算密集型的。

Q1。有什么实用技巧可以节省时间吗？

为了节省时间，如果 1) 我将整个训练数据分成 test vs val（例如，80:20），没有 k-fold，并找到最佳超参数；在这种情况下， nx 1次运行，并且 2) 仅使用从 1) 中找到的光学超参数对 LSTM 执行k倍 CV，以展示所选 LSTM 的整体性能？是否有意义？

标签： machine-learninglstmcross-validationgrid-searchhyperparameters

解决方案

对于大模型，CV 是不可行的。所以你应该以训练验证测试的方式分割你的数据。

网格搜索也不是最好的方法，最好使用随机搜索，原因请参见此处。

推荐阅读