tensorflow - 分析 python-tensorflow-1.14

Question

我正在分析我的 tensorflow 训练，发现某些操作是在 CPU 而不是 GPU 上执行的。

当使用 强制设备时with graph.device("/gpu:0")，切片操作引发错误说

无法满足明确的设备规范“/device:GPU:0”，因为没有支持的 GPU 设备内核可用。

with graph.device("/device:XLA_GPU:0")我通过强制设备进行特定的切片操作来“解决”它。但是，在分析过程时，我得到（太多）转移（MemcpyHtoD和MemcpyDtoH）。此外，即使图形的所有节点都分配给GPU（或XLA_GPU用于切片操作），似乎有些变量位于CPU（见下Adam/VariableV2图中的，发生在 a 之后MemcpyHtoD，然后是 a MemcpyDtoH）！

我无法调查和理解 tensorflow 如何处理数据、操作和执行它们的设备。

• 为什么 tensorflow 不能在 GPU 上运行一些非常基本的操作（比如切片）？
• 为什么主机和设备之间需要传输Adam/VariableV2？
• GPU和之间是否需要数据传输XLA_GPU？

标签： tensorflowprofiling