python-3.x - 调用 o1964.collectToPython 时出错。:org.apache.spark.SparkException:作业因阶段失败而中止:任务0
问题描述
我正在尝试将 spark RDD 转换为 Pandas DataFrame。
from pyspark.ml.regression import GBTRegressor
gbt = GBTRegressor(featuresCol="features",labelCol="Price", maxIter=10)
gbtModel = gbt.fit(training_data)
predictions_gbt = gbtModel.transform(testing_data)
predictions_gbt.select("features", "Price", "prediction").show()
prediction_gbt_test = gbtModel.transform(finalized_test_data)
prediction_gbt_test.toPandas()
此代码产生错误:-
Py4JJavaError: An error occurred while calling o1964.collectToPython.:
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 166.0 failed 1
times, most recent failure: Lost task 0.0 in stage 166.0 (TID 166, 86f0177ce5fa, executor driver):
org.apache.spark.SparkException: Failed to execute user defined
function(GBTRegressionModel$$Lambda$3519/181923952:
任何人都可以帮助我解决这种“工作中止”的错误。
解决方案
推荐阅读
- python - 无法从数组内部打印值
- java - Spring Data Couchbase 对模板和 CrudRepository 使用不同的对象映射器
- python - 字典中的嵌套列表有困难
- r - 自定义绘图功能未找到现有列
- swift - Swift 中的元类型到底是什么?
- sql - 数据库查询未按要求运行
- windows - 使用 PowerShell Studio 在 cmd 中执行“where”命令
- java - 如何在 Linux 上的 Intellij 中逐步正确安装 java 和 javafx?
- java - 如果在 java 中的并发映射之外修改对象会发生什么?
- python - 如何在 Python 的 OpenPyxl 旁边使用 R 的 Reticulate 包来隐藏 excel 中的行