apache-spark - spark-submit 由于 Kerberos 无法连接到 Metastore:由 GSSException 引起:未提供有效凭据。但在本地客户端模式下工作
问题描述
看来,在本地客户端模式下的 docker pyspark shell 中正在工作并且能够连接到 hive。但是,发出带有所有依赖项的 spark-submit 失败并出现以下错误。
20/08/24 14:03:01 INFO storage.BlockManagerMasterEndpoint: Registering block manager test.server.com:41697 with 6.2 GB RAM, BlockManagerId(3, test.server.com, 41697, None)
20/08/24 14:03:02 INFO hive.HiveUtils: Initializing HiveMetastoreConnection version 1.2.1 using Spark classes.
20/08/24 14:03:02 INFO hive.metastore: Trying to connect to metastore with URI thrift://metastore.server.com:9083
20/08/24 14:03:02 ERROR transport.TSaslTransport: SASL negotiation failure
javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:211)
at org.apache.thrift.transport.TSaslClientTransport.handleSaslStartMessage(TSaslClientTransport.java:94)
at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:271)
在 pyspark 上运行一个简单的 pi 示例可以正常工作,没有 kerberos 问题,但是在尝试访问 hive 时出现 kerberos 错误。
火花提交命令:
spark-submit --master yarn --deploy-mode cluster --files=/etc/hive/conf/hive-site.xml,/etc/hive/conf/yarn-site.xml,/etc/hive/conf/hdfs-site.xml,/etc/hive/conf/core-site.xml,/etc/hive/conf/mapred-site.xml,/etc/hive/conf/ssl-client.xml --name fetch_hive_test --executor-memory 12g --num-executors 20 test_hive_minimal.py
test_hive_minimal.py 是一个简单的 pyspark 脚本,用于在测试数据库中显示表:
from pyspark.sql import SparkSession
#declaration
appName = "test_hive_minimal"
master = "yarn"
# Create the Spark session
sc = SparkSession.builder \
.appName(appName) \
.master(master) \
.enableHiveSupport() \
.config("spark.hadoop.hive.enforce.bucketing", "True") \
.config("spark.hadoop.hive.support.quoted.identifiers", "none") \
.config("hive.exec.dynamic.partition", "True") \
.config("hive.exec.dynamic.partition.mode", "nonstrict") \
.getOrCreate()
# Define the function to load data from Teradata
#custom freeform query
sql = "show tables in user_tables"
df_new = sc.sql(sql)
df_new.show()
sc.stop()
谁能告诉我如何解决这个问题?kerberos票不是由yarn自动管理的吗?所有其他 hadoop 资源都可以访问。
更新: 在 docker 容器上共享 vol mount 并将 keytab/principal 与 hive-site.xml 一起传递以访问 Metastore 后,问题已得到修复。
spark-submit --master yarn \
--deploy-mode cluster \
--jars /srv/python/ext_jars/terajdbc4.jar \
--files=/etc/hive/conf/hive-site.xml \
--keytab /home/alias/.kt/alias.keytab \ #this is mounted and kept in docker local path
--principal alias@realm.com.org \
--name td_to_hive_test \
--driver-cores 2 \
--driver-memory 2G \
--num-executors 44 \
--executor-cores 5 \
--executor-memory 12g \
td_to_hive_test.py
解决方案
我认为你的司机有罚单,但你的执行人不是这样。将以下参数添加到您的 spark 提交中:
- --principal:您可以通过这种方式获得委托人:klist -k
- --keytab : 密钥表的路径
更多信息:https ://spark.apache.org/docs/latest/running-on-yarn.html#yarn-specific-kerberos-configuration
推荐阅读
- python - 创建此 python 脚本以添加 100 个成员,但仅添加 3 到 5 并自动停止
- javascript - Javascript:未捕获的 ReferenceError:未定义 tb
- azure - 从 Azure 运行时模块到外部网关的 HTTP POST 请求
- java - 使用 ByteBuddy 重新定义特定实例
- jenkins - 如何在声明性管道中的 Jenkinsfile 中跨阶段存储和取消存储人工制品
- git - 在 github 上授予协作者管理员权限
- bash - 杀死mac终端后运行appium-doctor不会显示之前设置的env变量
- python - 使用 xml.etree 解析 Python xml
- gstreamer - 通过 udp 流式传输网络摄像头卡住
- reactjs - React 状态和条件渲染