apache-spark - spark 2.3 读取配置单元表始终为 0 行

问题描述

我有一个关于spark读取蜂巢表的问题，本周我们将 spark 从 1.5 更新到 2.3。我们有很多表，它的数据是使用spark 1.5. 现在Spark 2.3无法读取表数据，没有错误但找不到数据，始终为 0 行。我用过sparksession.read.orc("/hive/table/path")，有效。

火花配置：

spark.sql.orc.impl = hive
spark.sql.orc.enableVectorizedReader = true
spark.sql.hive.convertMetastoreOrc = true

非常感谢

标签： apache-sparkhive

apache-spark - spark 2.3 读取配置单元表始终为 0 行

问题描述

解决方案

推荐阅读