时间戳

首页 > 解决方案 > 在 Spark2 Scala 中找不到 Hive 表

sql - 在 Spark2 Scala 中找不到 Hive 表

问题描述

我有以下功能：

def getMet(spark: SparkSession): DataFrame = {
  val spark = SparkSession.builder().appName("AB Test").enableHiveSupport().getOrCreate()

  val dfMet = spark.sql(s"""SELECT
  10,
  cod_entrep as ID_ENTITE,
  cod_entrep_assu as ID_ENTITE_GARANTE,
  id_notification,
  objet_metier as REF_EXT_OBJET_METIER,
  case when typ_mvt = "S" then 1 else 0 end as TOP_SUPP,
  case when typ_mvt = "S" then dt_capt else null end as DT_SUPP
  FROM dev_lkr_send.pz_send_notification""")
  }

哪个返回

捕获的异常：org.apache.spark.sql.AnalysisException：找不到表或视图：pz_send_notification；第 10 行位置 0

该表存在于 Impala 中，在spark2-shell上执行相同的步骤可以正常工作。

有什么帮助吗？

标签： sqlscalaapache-sparkhive

解决方案

我刚刚找到了解决方案，我必须在执行命令中使用--files选项指示hive-site.xml文件。

推荐阅读