c++ - C++ OpenMP 在矩阵向量积上的工作速度非常慢
问题描述
所以,我正在使用 openMP 制作矩阵向量产品,但我注意到它的工作速度非常慢。经过一段时间试图找出问题所在,我刚刚删除了并行部分中的所有代码,但它仍然很慢。这里有什么问题?(n = 1000)
这是 1、2 和 4 核的时间结果。
seq_method 时间 = 0.001047194215062
parrallel_method (1) 时间 = 0.001050273191140 seq - par = -0.000003078976079 seq/par = 0.997068404578433
parrallel_method (2) 时间 = 0.001961992426004 seq - par = -0.000914798210943 seq/par = 0.533740192460558
parrallel_method (4) 时间 = 0.004448095121916 seq - par = -0.003400900906854 seq/par = 0.235425319459132
即使我从并行部分删除代码 - 它也没有太大变化。
void parallel_method(float A[n][n], float B[n], float C[n], int thr_num)
{
double t1, t2;
float tmp = 0;
int i, j;
t1 = omp_get_wtime();
omp_set_dynamic(0);
omp_set_num_threads(thr_num);
#pragma omp parallel for private(tmp, j, i)
for (i = 0; i < n; i++) {
tmp = 0;
for (j = 0; j < n; j++) {
tmp += A[i][j] * B[j];
}
#pragma omp atomic
C[i] += tmp;
}
//////
t2 = omp_get_wtime();
if (show_c) print_vector(C);
par = t2 - t1;
printf("\nparrallel_method (%d) time = %.15f", thr_num, par);
printf("\nseq - par = %.15f", seq - par);
printf("\nseq/par = %.15f\n", seq / par);
}
解决方案
我试图重现您的问题,但无法做到这一点。我有一个完全连贯的行为。
n=100
sequential_method (0) time = 0.000023339001928
parallel_method (1) time = 0.000023508997401
parallel_method (2) time = 0.000013864002540
parallel_method (4) time = 0.000008979986887
n=1000
sequential_method (0) time = 0.001439775005565
parallel_method (1) time = 0.001437967992388
parallel_method (2) time = 0.000701391996699
parallel_method (4) time = 0.000372130998080
n=10000
sequential_method (0) time = 0.140988592000213
parallel_method (1) time = 0.133375317003811
parallel_method (2) time = 0.077803490007180
parallel_method (4) time = 0.044142695999355
除了小尺寸,其中线程开销很大,结果或多或少是预期的。
我做了什么:
所有措施都在同一次运行中完成
我运行所有功能一次,没有时间预热缓存
在实际代码估计中,我也会
为同一功能的多次连续执行计时,特别是在时间很短的情况下,以减少小的变化
运行多个实验并保留最小的一个以抑制异常值。(我更喜欢最小值,但您也可以计算平均值)。
您应该已经发布了所有代码,我不知道您的方法是什么。但是我认为您的估计是在不同的运行中完成的,并且没有预热缓存。对于此代码,缓存影响非常重要,内核必须存储相同的信息 (B)。而且问题还不足以从更大的 L1/L2 缓存中受益。这些多次加载可以解释并行代码的性能较差。
关于您的代码的最后一句话。每个线程都有自己的 i 值。因此 C[i] 只能由一个线程访问,原子编译指示是无用的。
推荐阅读
- powershell - Powershell 脚本 - 发送经过身份验证的电子邮件
- javascript - 在 Vue 中使用可变等待时间去抖动输入
- rust - Serde/jsonrpc-core:转换为相同数据的表示
- google-colaboratory - 我想在 Google colab 中安装 tensorflow 1.14 版但失败了
- reactjs - React useEffect 依赖破坏了值传递
- powershell - Powershell WebSocket(ClientWebSocket) 发送消息
- c# - 当子类从父类继承时,有没有办法为继承的字段使用不同的数据类型来添加更多功能?
- html - 将 ngx 时间选择器绑定到 Angular 中的表单控件
- org-mode - org 模式将 NAME 赋予时钟表以使用 perl 解析
- java - Spring Boot 无法访问外部文件