c++ - 使用 OpenMP 在 C、C++ 中并行化嵌套 for 循环的几种方法之间的区别
问题描述
我刚刚开始学习使用 OpenMP 进行并行编程,并且嵌套循环中有一个微妙的点。我写了一个简单的矩阵乘法代码,并检查了结果是否正确。但实际上有几种方法可以并行化这个 for 循环,在底层细节方面可能会有所不同,我想问一下。
起初,我在下面编写了代码,将两个矩阵 A、B 相乘并将结果分配给 C。
for(i = 0; i < N; i++)
{
for(j = 0; j < N; j++)
{
sum = 0;
#pragma omp parallel for reduction(+:sum)
for(k = 0; k < N; k++)
{
sum += A[i][k]*B[k][j];
}
C[i][j] = sum;
}
}
它有效,但它需要很长时间。而且我发现由于指令的位置,它会构建N 2parallel
次并行区域。当我使用 linux time 命令时,我发现用户时间大幅增加。
下一次,我尝试了下面的代码,它也有效。
#pragma omp parallel for private(i, j, k, sum)
for(i = 0; i < N; i++)
{
for(j = 0; j < N; j++)
{
sum = 0;
for(k = 0; k < N; k++)
{
sum += A[i][k]*B[k][j];
}
C[i][j] = sum;
}
}
使用上面的代码,经过的时间从顺序执行的 72.720 秒减少到并行执行的 5.782 秒。这是合理的结果,因为我用 16 个内核执行它。
但是第二个代码的流程在我的脑海中并不容易绘制。我知道,如果我们将所有循环变量私有化,程序会将嵌套循环视为一个大小为 N 3的大循环。通过执行下面的代码可以很容易地检查它。
#pragma omp parallel for private(i, j, k)
for(i = 0; i < N; i++)
{
for(j = 0; j < N; j++)
{
for(k = 0; k < N; k++)
{
printf("%d, %d, %d\n", i, j, k);
}
}
}
执行printf
了 N 3次。
但是在我的第二个矩阵乘法代码中,sum
在最内层循环之前和之后。很困扰我,很容易在我的脑海中展开循环。我写的第三个代码很容易在我脑海中展开。
总而言之,我想知道在我的第二个矩阵乘法代码中幕后真正发生了什么,特别是随着sum
. 或者我真的很感谢你推荐一些工具来观察用 OpenMP 编写的多线程程序的流程。
解决方案
omp for
默认情况下仅适用于下一个直接循环。内部循环完全不受影响。这意味着,您可以像这样考虑您的第二个版本:
// Example for two threads
with one thread execute
{
// declare private variables "locally"
int i, j, k;
for(i = 0; i < N / 2; i++) // loop range changed
{
for(j = 0; j < N; j++)
{
sum = 0;
for(k = 0; k < N; k++)
{
sum += A[i][k]*B[k][j];
}
C[i][j] = sum;
}
}
}
with the other thread execute
{
// declare private variables "locally"
int i, j, k;
for(i = N / 2; i < N; i++) // loop range changed
{
for(j = 0; j < N; j++)
{
sum = 0;
for(k = 0; k < N; k++)
{
sum += A[i][k]*B[k][j];
}
C[i][j] = sum;
}
}
}
您可以通过尽可能在本地声明变量来简单地使用 OpenMP 对变量进行推理。即代替显式声明使用:
#pragma omp parallel for
for(int i = 0; i < N; i++)
{
for(int j = 0; j < N; j++)
{
int sum = 0;
for(int k = 0; k < N; k++)
{
sum += A[i][k]*B[k][j];
}
C[i][j] = sum;
}
}
这样你就更容易实现变量的私有范围。
在某些情况下,将并行性应用于多个循环可能是有益的。这是通过使用完成的collapse
,即
#pragma omp parallel for collapse(2)
for(int i = 0; i < N; i++)
{
for(int j = 0; j < N; j++)
您可以想象这适用于以下转换:
#pragma omp parallel for
for (int ij = 0; ij < N * N; ij++)
{
int i = ij / N;
int j = ij % N;
由于介于两者之间, Acollapse(3)
不适用于此循环sum = 0
。
现在是更多细节:
#pragma omp parallel for
是的简写
#pragma omp parallel
#pragma omp for
第一个创建线程 - 第二个在到达这一点的所有线程之间共享循环的工作。这对于现在的理解可能并不重要,但是对于一些用例来说它很重要。例如你可以写:
#pragma omp parallel
for(int i = 0; i < N; i++)
{
#pragma omp for
for(int j = 0; j < N; j++)
{
我希望这能从逻辑的角度阐明那里发生的事情。
推荐阅读
- sql - IN 条件左侧的多列
- javascript - JS 在“return array('html' => $response);”中不起作用
- visual-studio-code - 什么是 Visual Studio 代码(VSCode)ftp-simple 中的“找不到命令 'ftp-config'”错误
- c++ - 如何实现具有自然语法的线程安全容器?
- angular - 如何在 *ngFor 中使用 API 调用
- ios - 如何处理订阅收据中缺少“latest_receipt_info”?
- android - 在主要内容后面发送抽屉内容以显示效果
- php - 如何使用codeigniter视图在jasper报告中传递参数
- rabbitmq - Ramdom com.rabbitmq.client.ShutdownSignalException:连接错误
- excel - 如何在 Excel 中从没有重复的列表中获取前 10 个结果?