python - Spark insertInto 使用不同大小写的分区列失败。蜂巢虫？

Question

我正在测试使用 PySparkinsertInto()将数据插入现有表的方法。我遇到了一个我认为是已知错误的结果的问题，并且正在寻求确认。我也想知道是否有我不知道的解决方法。

我正在使用 Spark v2.2.1：

并且，如果要信任此命令，Hive v2.1.1

此代码成功创建了一个表并将数据插入其中：

table_name = "default.insert_test"
sqlContext.sql("DROP TABLE IF EXISTS %s" % table_name)
sql = """
CREATE TABLE %s (col string)
PARTITIONED BY (pcol bigint)
STORED AS PARQUET
""" % table_name
sqlContext.sql(sql)
sqlContext.createDataFrame([('Alice', 1)], ['name', 'age'])\
.write.mode('overwrite').insertInto(table_name)

但是这段代码（唯一的区别是分区列名的大写）：

table_name = "default.insert_test"
sqlContext.sql("DROP TABLE IF EXISTS %s" % table_name)
sql = """
CREATE TABLE %s (col string)
PARTITIONED BY (PCOL bigint)
STORED AS PARQUET
""" % table_name
sqlContext.sql(sql)
sqlContext.createDataFrame([('Alice', 1)], ['name', 'age'])\
.write.mode('overwrite').insertInto(table_name)

调用失败insertInto()并出现错误：

AnalysisException: u'org.apache.hadoop.hive.ql.metadata.Table.ValidationFailureSemanticException: Partition spec {pcol=, PCOL=1} contains non-partition columns;'

我知道我可以通过使用 Spark SQL 的新 CREATE TABLE 语法（参见SPARK-18885 - unify CREATE TABLE syntax for data source and hive serde tables）来解决这个问题，如下所示：

table_name = "default.insert_test"
sqlContext.sql("DROP TABLE IF EXISTS %s" % table_name)
sql = """
CREATE TABLE %s (col string, PCOL bigint)
USING PARQUET
PARTITIONED BY (PCOL)
""" % table_name
sqlContext.sql(sql)
sqlContext.createDataFrame([('Alice', 1)], ['name', 'age'])\
.write.mode('overwrite').insertInto(table_name)

不幸的是，我们的客户端使用旧的 CREATE TABLE 语法创建了现有的表，因此我们必须支持这种情况。

我的问题是：

1. 有没有一种我不知道的方法可以用来insertInto()对付出现这个问题的表？
2. HIVE- 14032 - INSERT OVERWRITE 命令因区分大小写的分区键名称而失败 是我遇到的根本原因吗？

标签： pythonapache-sparkhivepyspark