machine-learning - 如何在python中的sklearn中标记RandomForestRegressor中的特殊情况

Question

对于我的数据集中的每个用户，我有一组数字特征（f1、f2、f3、f4、f5），如下所示。

       f1   f2  f3  f4  f5
user1  0.1  1.1  0 1.7  1
user2  1.1  0.3  1 1.3  3
user3  0.8  0.3  0 1.1  2
user4  1.5  1.2  1 0.8  3
user5  1.6  1.3  3 0.3  0

我的目标输出是一个优先用户列表。即如下例所示。

       f1   f2  f3  f4  f5  target_priority
user1  0.1  1.1  0 1.7  1       2
user2  1.1  0.3  1 1.3  3       1
user3  0.8  0.3  0 1.1  2       5
user4  1.5  1.2  1 0.8  3       3
user5  1.6  1.3  3 0.3  0       4

我想以反映用户优先级的方式使用这些功能。目前，我正在使用sklearnsRandomForestRegressor` 来执行此任务。

然而，我最近得到了我的真实数据集，它有一些没有优先级标签的用户。那是因为这样的用户对我们公司来说并不重要（更像是普通用户）。

示例（真实数据集的样子）：

       f1   f2  f3  f4  f5  target_priority
user1  0.1  1.1  0 1.7  1       2
user2  1.1  0.3  1 1.3  3       2
user3  0.8  0.3  0 1.1  2       N/A
user4  1.5  1.2  1 0.8  3       N/A
user5  1.6  1.3  3 0.3  0       1

在这种特殊情况下（没有priority label），是否可以给它们一个特殊符号或远低于现有优先级（例如，100000000000000000 priority）的优先级？在 RandomForestRegressor 中如何处理这种特殊情况？

如果需要，我很乐意提供更多详细信息？

标签： machine-learningscikit-learnrandom-forest

Answer 1

好的，如果 80-90% 不需要优先级，您应该构建一个分类器来决定是否需要分配优先级，因为这将是一个倾斜的类，我建议您使用决策树或异常检测作为分类器，需要优先级的数据点将是异常的，您可以使用 Sklearn 来处理这些。

在确定必须分配优先级的对象后，我将研究训练数据的优先级分布，您说优先级范围从 1-100，所以如果您至少有 5,000 个数据点和每个优先级级别至少有 35 个示例，我建议使用多类分类器（首选带有 rbf 内核的 SVC）和混淆矩阵来检查矩阵的准确性，如果这不起作用你将不得不对数据使用回归器然后四舍五入答案。

我的基本意思是，如果数据足够大，并且目标标签之间分布均匀，则使用多类分类，如果数据不够大，则使用分类器，如果您想要其中任何部分的代码，让我知道。

编辑代码

好的，让我们从顶部开始，首先在您的目标中存储 NA 值，np.nan或者将它们存储为符号?或直接文本，N.A.在所有情况下，这将导致您的目标标签为对象类型，以检查使用df[['target']].dtypes如果它说 int 或 float，你可以跳过第一步，但如果它说 object，那么我们需要先修复它。

df.loc[df['Target'] == 'N.A.', 'Target'] = np.nan #np = Numpy `N.A.` can be any placeholder that is being used by tour dataset for N.A. values.
df[['target']] = df[['target']].astype(float)

现在让我们转到第二部分，您需要在其中获取分类器的目标，以便使用

df2 = pd.DataFrame()
df2['Bool'] = df[['Target']] != np.nan
df1 =  pd.concat([df, df2], axis = 1)
df1.head() #Sanity check

这将通过在分配优先级时添加 true 来更新您的数据框，此列将成为您分类器的目标。注意using df1and not df，现在删除Targetfromdf1因为它并不重要，对于第一部分。df1.drop(['Target'], axis = 1, inplace = True)

现在我将在此使用随机森林分类，因为应避免异常检测，直到类倾斜高达 98%，但您可以在此处查看。

继续，构建随机森林分类器

clf = RandomForestClassifier(n_estimators=100, max_depth=2) #Note max depth is a hyper parameter and you will need to tune it.
clf.fit (df1.drop(['Bool'],axis=1),df1['Bool'])

删除输出为假的行

df1 = df1[df['Bool'] == True]

然后只需clf.predict()在新数据上使用。删除输出为 false 的行，并对剩余数据运行回归器。我假设你可以做回归部分，因为这现在完全是直截了当的。如果您遇到任何进一步的问题，请告诉我。