时间戳

首页 > 解决方案 > 如何在 Pyspark 中进行交叉验证后获得最佳超参数值？

pyspark - 如何在 Pyspark 中进行交叉验证后获得最佳超参数值？

问题描述

我正在对一组超参数的数据集进行交叉验证。

lr = LogisticRegression()
paramGrid = ParamGridBuilder() \
    .addGrid(lr.regParam, [0, 0.01, 0.05, 0.1, 0.5, 1]) \
    .addGrid(lr.elasticNetParam, [0.0, 0.1, 0.5, 0.8, 1]) \
    .build()
evaluator = BinaryClassificationEvaluator()
cv = CrossValidator(estimator=lr, estimatorParamMaps=grid, evaluator=evaluator)

我想知道regParam和elasticNetParam的最佳价值。在 python 中，我们可以选择在交叉验证后获得最佳参数。pyspark 中是否有任何方法可以在交叉验证后获得最佳参数值？

For example : regParam - 0.05 
              elasticNetParam - 0.1

标签： pysparkapache-spark-mllib

解决方案

好吧，您必须首先适合您的 CrossValidator：

cv_model = cv.fit(train_data)

完成此操作后，您将拥有一个 best_model：

best_model = cv_model.bestModel

要提取参数，您将不得不做这件丑陋的事情：

best_reg_param = best_model._java_obj.getRegParam()
best_elasticnet_param = best_model._java_obj.getElasticNetParam()

推荐阅读