apache-spark - 如何通过 spark-submit 使用多个 keytab，从而连接到多个 kerberized 服务？

Question

用例是从 spark 流应用程序连接到 kerberized YARN/HDFS 和 KAFKA 服务，每个服务位于不同的领域。

如何构造 spark-submit 命令以传递多个 keytab？

以前的实现：

• --keytab,--principal 用于 YARN/HDFS 密钥表文件和主体值
• -Djava.security.auth.login.config=jaas.conf 和 -Djava.security.krb5.conf=krb5.conf 用于 KAFKA 客户端配置。
• spark.hadoop.fs.hdfs.impl.disable.cache=true

结果：在 YARN/HDFS 到期后票证不会自动更新

错误： HDFS_DELEGATION_TOKEN 已过期

如果实现了跨领域信任，那么使用 spark-submit 命令将如何用于两个服务（HDFS/YARN 以及 KAFKA）的单个 keytab？

标签： apache-sparkapache-kafkakerberos