python - MXNet CuDNN 自动调谐管理
问题描述
我能否准确控制 MXNet 何时运行性能测试?
我有一个即将投入生产的 MXNet 应用程序。它运行正常,但它的批量大小可变,它会导致 MXNet 经常执行自动调整。
尽管批量大小是可变的,但通常为 1。我对较大尺寸的性能损失很好(它仍然比一直中断它进行自动调整要好)。
如果我禁用export MXNET_CUDNN_AUTOTUNE_DEFAULT=0
网络自动调谐,运行速度会慢得多。
所以我的问题是:有没有办法只运行一次自动调谐,最好是在我的电话下?
解决方案
目前没有办法只运行一次自动调谐。启用自动调整后,MXNet 将运行性能测试,以找到运行卷积/反卷积算子的最佳算法。最好的算法是用特定的输入形状、输出形状缓存的。因此,只要您具有相同的输入/输出形状,性能测试就不应重新运行。但是,如果形状发生变化,则会触发算法重新运行。
推荐阅读
- node.js - 如何使用节点和快递存储身份验证令牌
- c# - 调试 Azure IoT Edge 模块 C#(如何命中断点)
- amazon-web-services - AWS - 您可以将您的 KMS 密钥从一个账户转移到另一个账户吗?
- python-3.x - 如何使用 bind = True 从任务中创建一个组?
- python - 在 pandas 中组合数据框以将贷方分配给借方
- javascript - 如何通过路由器传递数据?
- c# - 如何使这个 LINQ to SQL where 条件的子句更快?
- macos - 如何使用 brew 从 Mac osx 卸载 twilio-cli
- java - 如何在java中以升序显示这个练习的数字?
- c++ - 尝试树实现