apache-spark - 将 Hive 引擎从 mr 设置为 Spark 后“失败：执行错误，返回代码 3”

Question

我正在尝试在我的 Hive 查询中使用 Spark 引擎。
这是一个旧查询，我不想将整个代码转换为 spark 作业。

但是当我运行查询时，它会给出以下错误：

状态：失败
失败：执行错误，从 org.apache.hadoop.hive.ql.exec.spark.SparkTask 返回代码 3

我唯一改变的是执行引擎：

设置 hive.execution.engine=spark；

上述更改适用于其他类似查询。所以我不认为这是一个配置问题......
还是我不知道它是？

以前有人遇到过这个问题吗？

标签： apache-sparkhivehiveql

Answer 1

检查作业的日志以查看真正的错误。返回代码 1、2 和 3 都是 MR 和 Spark 中的一般错误。