首页 > 解决方案 > 如何在 Tensorflow 中拆分多个参数服务器上的单个张量?

问题描述

我正在使用 Tensorflow,但出现以下问题:

我的模型中有一个巨大的张量,其大小大约是其他张量的 100 倍。我知道参数是循环存储的,但我的理解是单个张量属于单个参数服务器,这个巨大的张量可能会成为瓶颈。

是否可以在多个参数服务器上拆分那个巨大的张量?

标签: tensorflowdistributed

解决方案


我发现我可以对张量流变量使用分区器,以便张量可以在多个参数服务器上进行分片。

https://www.tensorflow.org/api_guides/python/state_ops#Variable_Partitioners_for_Sharding


推荐阅读