complexity-theory - 如何计算自动微分的计算复杂度？

Question

我正在使用 Pytorch 中实现的自动网格来训练神经网络，我需要计算整个算法的计算复杂度。我在哪里可以找到 autograd 计算复杂度的完整计算？我在 Pytorch 文档中进行了搜索，但没有找到任何答案。谢谢

标签： complexity-theorypytorchautomatic-differentiationautograd

Answer 1

试试这个https://github.com/Lyken17/pytorch-OpCounter。它计算 nn 的 macs（类似于复杂度）。您可以在集线器上看到一些指南，使用 profile 来测量 pytorch 中模型的 FLOP。