tensorflow - 如何在 Tensorflow 中拆分多个参数服务器上的单个张量?
问题描述
我正在使用 Tensorflow,但出现以下问题:
我的模型中有一个巨大的张量,其大小大约是其他张量的 100 倍。我知道参数是循环存储的,但我的理解是单个张量属于单个参数服务器,这个巨大的张量可能会成为瓶颈。
是否可以在多个参数服务器上拆分那个巨大的张量?
解决方案
我发现我可以对张量流变量使用分区器,以便张量可以在多个参数服务器上进行分片。
https://www.tensorflow.org/api_guides/python/state_ops#Variable_Partitioners_for_Sharding
推荐阅读
- javascript - Javascript 中的背景音乐不起作用
- c# - C#在控制台中没有返回信息
- c++ - 在 WIC 中调用 CreateBitmapFromHIcon 时指定 HICON 索引
- python - 如何检查 while 循环中的 if 语句是否已满足?
- json - 需要 Firebase JSON 的 Django 应用程序的 Heroku 配置?
- android - 如何使用来自arraylist listview的bundle传递图像到详细活动
- azure - 如何在 Terraform 中为 Azure 可用区使用 Element
- flutter - 如何在 dart 中获取通用对象的主要类型和子类型,例如 Type1
, 我只想要 Type1 和 Type2 分开 - c# - 如何测试需要身份验证和授权的 webapi 控制器 xunit?
- linux - bash for 循环不断添加变量的顶部