pyspark - 有没有办法可以在pyspark中用空格重命名或别名列

Question

重命名列时出现错误，无论如何我可以重命名它，因为列名中有空格

df=df.withColumnRenamed("std deviation","stdDeviation")

Error:AnalysisException: Attribute name "std deviation" contains invalid character(s) among " ,;{}()\n\t=". Please use alias to rename it.

我尝试了另一种使用别名的方法，但没有成功。

df=df.select(col("std deviation").alias("stdDeviation"))

有没有办法可以重命名包含空格的列？

Error:AnalysisException: Attribute name "std deviation" contains invalid character(s) among " ,;{}()\n\t=". Please use alias to rename it.

标签： pyspark

Answer 1

不，根据源代码，Spark 无法做到这一点。另一种方法是使用pandas.read_parquet, 它应该可以工作。但是，我不确定您的文件有多大，以及您的本地计算机（或集群驱动程序）是否可以处理它。