apache-spark - 无法指向使用来自 spark 的配置单元创建的外部表

Question

我在 hive 中创建了外部表，并且能够从 hive shell 中查看表和记录。但是，当我试图通过提及路径从 spark-shell 指向同一个数据库时，我只能在 spark 中获取默认数据库，但无法看到我创建的数据库和表。

我还通过以下命令检查了路径 spark2.conf.get("spark.sql.warehouse.dir")，它给出了我指定的相同位置。我也没有权限问题。

标签： apache-sparkhive

Answer 1

1.在spark conf目录中检查你hive-site.xml是否正确；

2.SparkSession.enableHiveSupport()让你的sparkSession支持hive。