pyspark - 实例化“org.apache.spark.sql.hive.HiveExternalCatalog”时出错
问题描述
我无法从 Pyspark 运行 Hive 查询。
我尝试将 hive-site.xml 复制到 spark 的 conf 中,但尽管这样做,它还是抛出了同样的错误
完整的错误
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/local/spark-2.4.0/python/pyspark/sql/context.py", line 358, in sql
return self.sparkSession.sql(sqlQuery)
File "/usr/local/spark-2.4.0/python/pyspark/sql/session.py", line 767, in sql
return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
File "/usr/local/spark-2.4.0/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
File "/usr/local/spark-2.4.0/python/pyspark/sql/utils.py", line 79, in deco
raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':"
解决方案
在我对 oozie 的测试中,我必须添加 Spark 需要的与 Hive 相关的 jar。尝试在 spark 的 conf 中添加相同的内容
推荐阅读
- ms-access - 从 C# 创建 Access97 链接表
- angular - 在 GitHub 页面上部署了我的 Angular 应用程序,但在控制台中的网站上出现错误
- python - 从 N 个元素的拒绝采样中输出 N 个元素
- javascript - 添加后如何显示更新的数组?
- sorting - SAS:排序错误(按变量排序不正确)
- python - 如何将多个 csv 合并到一个数据框中
- java - 对于 XSSFCell 类型,方法 getCellTypeEnum() 未定义
- r - 打印到 pdf() 时,在 ggplot2 中的轴标签中使用短划线
- python - 如何根据单词对的存在来选择子字符串?Python
- java - Spring Boot,无法让 Hibernate 工作