时间戳

首页 > 解决方案 > 如何在本地 pyspark 会话中启用 hive 动态分区

pyspark - 如何在本地 pyspark 会话中启用 hive 动态分区

问题描述

我正在尝试在本地 spark 会话中启用动态分区（不在应用程序模式下）

我在我的 pyspark shell 中运行以下命令（使用 spark 2.4）

spark.sqlContext.setConf("hive.exec.dynamic.partition", "true") spark.sqlContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")

低于错误 AttributeError：“SparkSession”对象没有属性“sqlContext”

标签： pysparkapache-spark-sql

解决方案

您可以尝试获取上下文吗

from pyspark.sql import SQLContext
sqlContext = SQLContext(spark.sparkContext)
sqlContext.setConf("hive.exec.dynamic.partition", "true") 
sqlContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")

推荐阅读