时间戳

首页 > 解决方案 > 如何有效地更新 Keras 变量切片？

python - 如何有效地更新 Keras 变量切片？

问题描述

假设我们有x = K.zeros((4, 6))，并且我们希望将 1 添加到第 0 行：x[0] += 1。该变量是通过Layer's add_weight()w/创建的training=False，因此不会通过反向传播更新。什么是最高效的方法？

相关的 Git

上下文：我正在实现循环批标准化，RNN 中每个时间步的变量moving_mean和变量都不同——因此每个时间步的形状为. 目标是通过每步更新一个切片。一种方法如下：moving_variance(units, timesteps)timestepsK.moving_average_update()

import keras.backend as K
units, timesteps = 4, 6
x = K.zeros((units, timesteps), dtype='float32', name='x')

x_new = x[:units, 0].assign(K.ones((units,), dtype='float32'))  # dummy example
K.set_value(x, K.get_value(x_new))
print(K.get_value(x))

[[1. 0. 0. 0. 0. 0.]
 [1. 0. 0. 0. 0. 0.]
 [1. 0. 0. 0. 0. 0.]
 [1. 0. 0. 0. 0. 0.]]

看起来不错 - 除了创建了一个新副本。x在实践中，我们可以有timesteps > 100（例如 120），所以我们创建了一个比它需要的大 120 倍的数组，120 倍（1 / 步），使其成为一个O(timesteps**2)操作 - 与通常的切片相反，O(timesteps). 检查 Keras 的Backend，它的update_方法都涉及复制原始数组。

Keras 有什么更高效的吗？如果没有，在 TensorFlow 中？

注意：我知道“附加到列表* 然后在最后一步通过数组分配”替代方案，这更有效，但我们可以做得更好 - 至少就“传统”数组而言（*或填充零数组）。尽管不可否认，还有 GPU 因素，它在批量分配中比迭代更有效 - 但我无法根据我所描述的内容有效地对后者进行基准测试。

标签： pythontensorflowkerastf.keras

解决方案

想出直接切片更新：

x_slice = x[4:5]
x_slice.assign(math_ops.sub(x_slice, some_tensor))

x_slice似乎很好地引用了原始张量数组；由于某种原因，assign_sub失败了；见澄清评论。

推荐阅读