math - 线性规划优化和梯度下降优化有什么区别？

Question

在线性规划问题中，我们制定了两个线性函数和一个优化函数。我们找到两个线性函数相交的点，并在优化函数中替换这些值以获得最大值或最小值。

这与梯度优化优化有何不同。任何人都可以在数学上详细说明这一点。两种方法都达到全局最大值还是最小值？哪个更好？

标签： mathstatistics

Answer 1

• 线性规划找到优化该线性组合的权重。它保证可以工作，但仅适用于线性组合的函数
• 梯度下降可以作用于任何函数，只要你知道它的导数。但是，只有当函数是凸函数时才能保证工作。否则会陷入局部最优

所以，真的别无选择。如果你有一个线性组合，线性规划更好。在所有其他情况下，梯度下降是您唯一的选择。