cuda - 在没有实际张量核心的情况下，我如何能够运行张量核心指令？

Question

我正在使用 CUDA 的 WMMA API 在 GTX 1660 Ti 上增加片段。这个 GPU 没有张量核心，但是当我查看为我的代码生成的 SASS 时，我看到了 HMMA.1688.F32 指令，它们是张量核心指令！怎么会这样？

相关信息：

• NVIDIA 确认我的卡没有张量核心：https ://www.nvidia.com/en-eu/geforce/10-series/ （比较 GTX 10、GTX 16 和 RTX 20 系列的技术特性表）。
• HMMA.1688.F32 指令链接到张量核心单元：
  • https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s9839-discovering-the-turing-t4-gpu-architecture-with-microbenchmarks.pdf
  • https://ieeexplore.ieee.org/document/9139835（需要帐号才能访问，但更详细）

标签： cudagpunvidiahardware

Answer 1

对于代码二进制兼容性，与张量核心单元相比，图灵家族的“非张量核心”成员在 SM中具有处理张量核心指令的硬件，尽管吞吐量相对较低。