tensorflow2.0 - 是否可以将 Tensorflow Graphics 的 Levenberg-Marquardt 优化器与 Tensorflow 2.0 模型集成?
问题描述
我有一个 TensorFlow 2.0tf.keras.Sequential
模型。现在,我的技术规范规定使用 Levenberg-Marquardt 优化器来拟合模型。Tensorflow 2.0 并未将其作为开箱即用的优化器提供,但可在Tensorflow 图形模块中使用。
tfg.math.optimizer.levenberg_marquardt.minimize
函数接受(残差是返回张量residuals
的 Python )和(对应于我的模型权重的张量列表)作为参数。callable
variables
将我的模型转换为残差和变量的最佳方法是什么?
如果我正确理解该minimize
函数的工作原理,我必须提供两个残差。第一个残差必须为每个学习案例调用我的模型,并将所有结果聚合到一个张量中。第二个残差必须将所有标签作为单个常量张量返回。问题是tf.keras.Sequential.predict
函数返回一个 numpy 数组而不是张量。我相信如果我将它转换为张量,最小化器将无法计算关于变量的雅可比。
变量也是同样的问题。似乎没有办法将模型中的所有权重提取到张量列表中。
解决方案
tfg.math.optimizer.levenberg_marquardt.minimize
从实现/API 的角度来看,Keras 优化器和 Keras 优化器之间存在重大差异。
Keras 优化器,例如tf.keras.optimizers.Adam
使用梯度作为输入和更新tf.Variable
。
相反,tfg.math.optimizer.levenberg_marquardt.minimize
本质上是在图形模式下展开优化循环(使用tf.while_loop
构造)。它采用初始参数值并生成更新的参数值,这与 Adam & co 不同,后者仅应用一次迭代并tf.Variable
通过 实际更改 s的值assign_add
。
回到理论上的大图,Levenberg-Marquardt 不是任何非线性优化问题(例如 Adam)的通用梯度下降式求解器。它专门解决非线性最小二乘优化问题,因此它不是像 Adam 这样的优化器的直接替代品。在梯度下降中,我们计算损失相对于参数的梯度。在 Levenberg-Marquardt 中,我们计算残差关于参数的雅可比行列式。具体来说,它反复解决使用的线性化问题(Jacobian @ delta_params = residuals
在内部使用从雅可比计算的 Gram 矩阵上的 Cholesky 分解)并作为更新应用。delta_params
tf.linalg.lstsq
delta_params
请注意,此lstsq
操作在参数数量上具有三次复杂性,因此在神经网络的情况下,它只能应用于相当小的参数。
另请注意,Levenberg-Marquardt 通常用作批处理算法,而不是像 SGD 这样的小批量算法,尽管没有什么可以阻止您在每次迭代中对不同的小批量应用 LM 迭代。
我认为您可能只能通过 tfg 的 LM 算法进行一次迭代,例如
from tensorflow_graphics.math.optimizer.levenberg_marquardt import minimize as lm_minimize
for input_batch, target_batch in dataset:
def residual_fn(trainable_params):
# do not use trainable params, it will still be at its initial value, since we only do one iteration of Levenberg Marquardt each time.
return model(input_batch) - target_batch
new_objective_value, new_params = lm_minimize(residual_fn, model.trainable_variables, max_iter=1)
for var, new_param in zip(model.trainable_variables, new_params):
var.assign(new_param)
相反,我相信在计算残差之前分配模型参数的情况下,以下简单的方法将不起作用:
from tensorflow_graphics.math.optimizer.levenberg_marquardt import minimize as lm_minimize
dataset_iterator = ...
def residual_fn(params):
input_batch, target_batch = next(dataset_iterator)
for var, param in zip(model.trainable_variables, params):
var.assign(param)
return model(input_batch) - target_batch
final_objective, final_params = lm_minimize(residual_fn, model.trainable_variables, max_iter=10000)
for var, final_param in zip(model.trainable_variables, final_params):
var.assign(final_param)
主要的概念问题是它residual_fn
的输出在其输入中没有梯度params
,因为这种依赖关系通过tf.assign
. 但由于使用了图形模式下不允许的结构,它甚至可能在此之前失败。
总的来说,我认为最好编写自己的 LM 优化器tf.Variables
,因为tfg.math.optimizer.levenberg_marquardt.minimize
它有一个非常不同的 API,它并不真正适合优化 Keras 模型参数,因为model(input, parameters) - target_value
没有tf.assign
.
推荐阅读
- google-bigquery - 结构数据的 BigQueryML 标准缩放器
- reactjs - 如何使循环内的“开/关”按钮做出反应 17
- css - Sass 嵌套属性
- javascript - 选择特定选项卡时获取数据 - React.js
- javascript - 将css复选框更改为javascript
- javascript - 表单未检查该字段是否为空或是否满足要求
- android - 尝试在android java中获取aws比较脸时出现未知错误
- c++ - C ++:如何编写一个循环,该循环采用两个用户提示的整数并打印总和(包括)?
- python - 如何将 .txt 文件写入列表
- r - 使用 as.Date 函数从日期时间中提取日期时的错误