c++ - 连续迭代器上的 SIMD 指令

Question

我有两个向量v1和v2类型T，并希望创建一个v1 & v2使用 SIMD 指令执行并将输出存储在向量中的函数out。

理想情况下，我们会拥有的是

first1  = v1.begin();
last1   = v1.end();
first2  = v2.begin();
d_first = out.begin();
while(distance(first1, last1) >= 64 / sizeof(T)) {
     *d_first = _mm512_and_epi32(first1, first2);
     first1   += 64 / sizeof(T)
     first2   += 64 / sizeof(T)
     d_first1 += 64 / sizeof(T)
}
auto and_op = [](T a, T b) {return a & b;};
std::transform(first1, last1, first2, d_first, and_op);

上面代码的第一个问题是它适用于 32 位整数。我不确定它是否希望这些对齐，如果确实如此，那么如果代码T类似于charor ，则代码将无法工作short int。

第二个问题是我无法正确转换矢量迭代器。_mm512_and_epi32期望两个__m512i变量作为输入。每当我传递一个连续的迭代器或地址时，编译器总是抱怨说没有从我传递的内容转换为“'__m512i'（8 个'long long'值的向量）”

我可以通过这样做来让它工作

__m512i _a = _mm512_load_epi64(&*first1.base());
__m512i _b = _mm512_load_epi64(&*first2.base());'
__m512i _res = _mm512_and_epi64(_a, _b);
_mm512_store_epi64(&*d_first.base(), _res);

但我不确定加载/存储操作的成本有多大，或者我是否可以跳过它们。

在大型连续数组上运行 SIMD 指令的正确方法是什么？有没有办法让它适用于所有类型的连续数组，不管它们的对齐方式如何？

标签： c++iteratorssesimdintrinsics

Answer 1

通常，您只需从.data()容器上获取​​指针并手动循环遍历数组，就像 C 样式数组一样。或增加一个索引并执行_mm512_loadu_si512(&vec[i]). （除非您为您std::vector的 .位向量。）

如果可以保证它是对底层数组元素的引用，而不是临时标量，则取消引用的迭代器方式可能是安全的。

加载/存储内在函数并不比通过取消引用从内存中隐式加载更昂贵；您需要从 asm 的角度思考以了解成本。编译器必须发出向量加载指令（或 ALU 指令的内存源操作数）和存储指令，以生成对内存中的数据进行操作的 asm。 _mm_load_si128vs._mm_loadu_si128基本上只是为了将对齐信息传达给编译器并进行转换。并表达对其他 C 类型（如 memcpy）的严格别名和对齐安全访问。