openmp - 如何抑制 OMP 警告 #96 无法组建团队

我有一个处理 1000 个图像的管道。每个图像都经过 4 个步骤来为模型创建输入。所以有 4000 个数据准备任务加上一个最终预测任务。总共 4001 个任务。

4000 个数据准备任务由 luigi 并行化，因此 4 个任务在 4 个 CPU 上同时运行。为此我设置了 OMP_THREAD_LIMIT=1 否则它会由于 luigi 和 OMP 之间的冲突而挂起。

最终的预测任务使用 pytorch。这是一个 luigi 任务，但由 pytorch 通过 OMP 并行化。所以我在开始任务之前重置了 OMP_THREAD_LIMIT 。

这可行，但在前 4000 个任务中，我收到数百/数千条警告消息.....“OMP：警告＃96 无法使用 1 来组建一个有 4 个线程的团队”和“OMP：提示考虑取消设置...... .OMP_THREAD_LIMIT”。

如何禁用这些消息？或者是否有其他方法可以在没有 OMP_THREAD_LIMIT 的情况下暂时禁用 OMP？

标签： openmp