python - 有没有办法强制随机森林回归器不适合截距?
问题描述
有没有办法拟合一个 sklearn 随机森林回归器,这样一个全 0 的输入会给我一个 0 的预测?对于线性模型,我知道我可以fit_intercept=False
在初始化时简单地传入一个参数,并且我想为随机森林复制它。
基于树的模型实现我想要做的事情是否有意义?如果是这样,我该如何实施?
解决方案
简短的回答:不。
长答案:
基于树的模型与线性模型非常不同。截距的概念甚至不存在于树中。
为了了解为什么会这样,让我们改编文档中的简单示例(一个具有单个输入特征的决策树):
import numpy as np
from sklearn.tree import DecisionTreeRegressor, plot_tree
import matplotlib.pyplot as plt
# Create a random dataset
rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - rng.rand(16))
# Fit regression model
regr = DecisionTreeRegressor(max_depth=2)
regr.fit(X, y)
# Predict
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
y_pred = regr.predict(X_test)
# Plot the results
plt.figure()
plt.scatter(X, y, s=20, edgecolor="black",
c="darkorange", label="data")
plt.plot(X_test, y_pred, color="cornflowerblue",
label="max_depth=2", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()
这是输出:
粗略地说,决策树试图在本地逼近数据,因此任何全局尝试(例如截线)都不存在于它们的宇宙中。
回归树实际上作为输出返回的是训练样本的因变量的平均值y
,这些样本在拟合期间最终出现在各个终端节点(叶子)中。为了看到这一点,让我们绘制上面刚刚拟合的树:
plt.figure()
plot_tree(regr, filled=True)
plt.show()
在这个非常简单的玩具示例中遍历树,您应该能够说服自己预测X=0
是0.052
(左箭头是True
节点的条件)。让我们验证一下:
regr.predict(np.array([0]).reshape(1,-1))
# array([0.05236068])
我用一个非常简单的决策树说明了上面的内容,让您了解为什么这里不存在截距的概念;任何实际上基于决策树并由决策树(如随机森林)组成的模型也是如此的结论应该是直截了当的。
推荐阅读
- r - 仅为变量的特定值创建直方图
- android - 警报不会从设备存储中响起 android?
- javascript - 如何在一个 jQuery 中分别获取两条路线详细信息?
- c++ - 如果变量值存储在 LIFO 结构中,堆栈如何保存它们?
- javascript - 仅在网格中添加行时启用单元格编辑
- javascript - 有什么方法可以更改应用程序脚本的用户代理?
- android - 从设备中删除已注册的(一个)指纹后,加密的应用程序特定数据会发生什么情况?
- java - 运算符区别:+=、==、+、++、=
- git - 如何设置 ssh 密钥以从不同用户下的一台机器访问 github
- java - 将 SLF4J 秒表记录到不同的文件