python - 在 PyTorch 中实现 prox-linear 优化器

Question

似乎 PyTorch 优化器类假设它只使用梯度信息。但是，我想实现一种不同的训练算法，即 prox-linear 方法，它可以最大限度地减少形式的损失g(l(prediction, label))，其中g是一些已知的凸函数。

优化器需要：

• 访问 的值，l(prediction, label)除了它的梯度 wrt 参数
• g超越梯度的函数知识

我应该如何设计这样的优化器？它如何获得所需的信息？

很明显g，在某种形式下，应该是优化器的参数，而不是一些通用的损失函数。但是呢l？

标签： pythonpytorch