python - 岭回归 B 系数计算

Question

我正在尝试通过 Python 中的这个公式计算岭回归 B 系数：

(X^T * X + λ*I)^(−1) + X^T * y

其中： X^T = X 转置
X^(-1) = X 的逆矩阵

问题：单位矩阵（I）应该采用什么形状？X.shape 还是 y.shape？

谢谢您的帮助！

标签： pythonstatisticsregression

Answer 1

I应该是 的形状X'X，才允许矩阵加法。X 通常是形状[n,m]，其中 n 是实例（行）的数量，m 是特征（列）的数量。因此，X'X是 的形状[m,m]，应该是 的形状I。

另请注意，通常当我们制定 时X，我们有一列用于偏差项。意思是，你可能有m特征，但X会有m+1列，包括偏差。

希望这可以帮助。