c++ - 英特尔组装与内部,AVX
问题描述
我有一个简单的向量向量加法算法(c = a + b * lambda),使用 AVX 指令用 intel 汇编编写。这是我的代码:
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;; Dense to dense
;; Uses cache
;; AVX
;; Without tolerances
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
global _denseToDenseAddAVX_cache_64_linux
_denseToDenseAddAVX_cache_64_linux:
push rbp
mov rbp, rsp
; rdi: address1
; rsi: address2
; rdx: address3
; rcx: count
; xmm0: lambda
mov rax, rcx
shr rcx, 3
and rax, 0x07
vzeroupper
vmovupd ymm5, [abs_mask]
sub rsp, 8
vmovlpd [rbp - 8], xmm0
vbroadcastsd ymm7, [rbp - 8]
vmovapd ymm6, ymm7
cmp rcx, 0
je after_loop_denseToDenseAddAVX_cache_64_linux
start_denseToDenseAddAVX_cache_64_linux:
vmovapd ymm0, [rdi] ; a
vmovapd ymm1, ymm7
vmulpd ymm1, [rsi] ; b
vaddpd ymm0, ymm1 ; ymm0 = c = a + b * lambda
vmovapd [rdx], ymm0
vmovapd ymm2, [rdi + 32] ; a
vmovapd ymm3, ymm6
vmulpd ymm3, [rsi + 32] ; b
vaddpd ymm2, ymm3 ; ymm2 = c = a + b * lambda
vmovapd [rdx + 32], ymm2
add rdi, 64
add rsi, 64
add rdx, 64
loop start_denseToDenseAddAVX_cache_64_linux
after_loop_denseToDenseAddAVX_cache_64_linux:
cmp rax, 0
je end_denseToDenseAddAVX_cache_64_linux
mov rcx, rax
last_loop_denseToDenseAddAVX_cache_64_linux:
vmovlpd xmm0, [rdi] ; a
vmovapd xmm1, xmm7
vmulsd xmm1, [rsi] ; b
vaddsd xmm0, xmm1 ; xmm0 = c = a + b * lambda
vmovlpd [rdx], xmm0
add rdi, 8
add rsi, 8
add rdx, 8
loop last_loop_denseToDenseAddAVX_cache_64_linux
end_denseToDenseAddAVX_cache_64_linux:
mov rsp, rbp
pop rbp
ret
人们经常建议我使用 intel 内在函数,因为它更好、更安全。现在我已经实现了这个算法:
void denseToDenseAddAVX_cache(const double * __restrict__ a,
const double * __restrict__ b,
double * __restrict__ c,
size_t count, double lambda) {
const size_t firstCount = count / 8;
const size_t rem1 = count % 8;
int i;
__m256d mul = _mm256_broadcast_sd(&lambda);
for (i = 0; i < firstCount; i++) {
// c = a + b * lambda
__m256d dataA1 = _mm256_load_pd(&a[i * 8]);
__m256d dataC1 = _mm256_add_pd(dataA1, _mm256_mul_pd(_mm256_load_pd(&b[i * 8]), mul ));
_mm256_store_pd(&c[i * 8], dataC1);
__m256d dataA2 = _mm256_load_pd(&a[i * 8 + 4]);
__m256d dataC2 = _mm256_add_pd(dataA2, _mm256_mul_pd(_mm256_load_pd(&b[i * 8 + 4]), mul ));
_mm256_store_pd(&c[i * 8 + 4], dataC2);
}
const size_t secondCount = rem1 / 4;
const size_t rem2 = rem1 % 4;
if (secondCount) {
__m256d dataA = _mm256_load_pd(&a[i * 8]);
__m256d dataC = _mm256_add_pd(dataA, _mm256_mul_pd(_mm256_load_pd(&b[i * 8]), mul ));
_mm256_store_pd(&c[i * 8], dataC);
i += 4;
}
for (; i < count; i++) {
c[i] = a[i] + b[i] * lambda;
}
}
我的问题是汇编版本比第二个版本快两倍。c++版本有什么问题?
解决方案
一些东西。
我认为这是最重要的一个。汇编代码使用指针算法。您的 C++ 代码没有,您首先计算索引,然后获取地址。编译器经常针对指针数学进行优化,但这并不可靠,您最好在 C++ 中使用相同的指针数学。更糟糕的是,像 &a[i * 8 + 4] 这样的东西需要多个整数指令。以字节为单位的结果是 a+i*64+32,而 x86 指令只能将整数免费缩放 2、4 或 8 倍。因此编译器必须发出左移然后加法来计算地址。此问题使循环主体中的指令计数加倍。
C++ 使用带符号的 32 位整数作为循环计数器,汇编代码使用无符号的 64 位整数。
size_t
对于性能关键代码,在 C++ 中使用 for 循环计数器通常是一个好主意。顺便说一句,如果您在 C++ 编译器中设置了“警告为错误”设置,它会拒绝编译,并说诸如“有符号/无符号不匹配”之类的内容。您在 C++ 中有多余的负载。CPU可以用一条指令做数学+一个负载。要做和汇编一样的事情,不要使用
_mm256_load_pd
, 将指针从const double *
intoconst __m256d*
这是稍微简化的示例:
void denseToDenseAddAVX( const double *a, const double *b, double *c, size_t count, double lambda )
{
assert( 0 == (size_t)( a ) % 32 );
assert( 0 == (size_t)( b ) % 32 );
assert( 0 == (size_t)( c ) % 32 );
const double* const aEnd = a + count;
const double* const aEndAligned = a + ( ( count / 4 ) * 4 );
const __m256d mul = _mm256_set1_pd( lambda );
while( a < aEndAligned )
{
const __m256d* const av = ( const __m256d* )a;
const __m256d* const bv = ( const __m256d* )b;
const __m256d cv = _mm256_add_pd( *av, _mm256_mul_pd( *bv, mul ) );
_mm256_store_pd( c, cv );
a += 4;
b += 4;
c += 4;
}
while( a < aEnd )
{
*c = ( *a ) + ( *b ) * lambda;
a++;
b++;
c++;
}
}
推荐阅读
- react-native - 网络更改后获取 api 不起作用 - 对原生 android 做出反应
- dymola - 找不到 dsmodel.mof 的位置 - Dymola
- virtual-machine - 在 XenServer 7.4 上运行的 VMu (Centos 6.9) 上安装“[AMD/ATI] Tonga XT GL [FirePro S7150]”显卡
- github - 通过 HTTPS 或 SSH 克隆时的带宽差异
- reactjs - Bootstrap-select 多选呈现错误
- android - 使用 Camera2 API 录制而不使用 MediaRecorder
- laravel - Vagrant 无法访问此站点
- docker - docker 缺少 var/lib/docker 文件夹
- ansible - 如何检查是否在 IF 条件内的 Jinja2 ansible 变量中定义了列表?
- python-3.x - 使用 python 执行 perl 脚本