python - 稀疏张量以减少训练时间

Question

我已经了解 PyTorch 稀疏张量：https ://pytorch.org/docs/stable/sparse.html

来自文档（https://pytorch.org/docs/stable/sparse.html）：“Torch支持 COO(rdinate) 格式的稀疏张量，它可以有效地存储和处理大多数元素为零的张量。”

稀疏张量而不是常规 PyTorch 张量的预期用途之一是减少训练时间吗？

标签： pythonmachine-learningdeep-learningpytorch

Answer 1

是的，但间接的。

稀疏张量可以降低计算的复杂性，从而降低训练/推理时间。矩阵乘法的复杂性取决于矩阵中元素的数量，而稀疏矩阵乘法的复杂性取决于较少的非零元素的数量（由于稀疏性）