时间戳

首页 > 解决方案 > Spark 本地上的 Hadoop Kerberos 故障

java - Spark 本地上的 Hadoop Kerberos 故障

问题描述

spark-submit在 Gitlab 上运行时出现以下错误。

这适用于本地，但不适用于 Gitlab。

21/11/03 05:34:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" org.apache.hadoop.security.KerberosAuthException: failure to login: javax.security.auth.login.LoginException: java.lang.NullPointerException: invalid null input: name
    at jdk.security.auth/com.sun.security.auth.UnixPrincipal.<init>(UnixPrincipal.java:67)

为什么会发生这种情况？

pipenv run spark-submit --packages org.apache.spark:    spark-avro_2.12:3.2.0 --master local[1] --conf spark.jars.    ivy=/tmp/.ivy main.py

标签： javaapache-sparkhadooppyspark

解决方案

推荐阅读