apache-spark - 三角洲湖蟒

Question

我在现有的 hadoop 集群中设置了一个虚拟环境。由于当前集群没有 spark >3 ，所以我使用虚拟环境安装了 delta spark。在尝试访问作为 kerberose 之一的 hdfs 时，出现以下错误。你能帮忙就这个问题提供建议吗

客户端身份验证模式 SIMPLE，区域不支持机制，Auth:kerberos_only

from delta import *
    
builder = pyspark.sql.SparkSession.builder.appName("MyApp") \
   .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
   .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
    
spark = configure_spark_with_delta_pip(builder).getOrCreate()
spark.read.parquet("hdfs/parquet_path")

标签： apache-sparkpysparkdelta-lake