apache-spark - 在 PySpark 中将字符串常量添加为列时未解析的引用点亮

Question

我正在尝试在 pyspark 中添加一个字符串常量作为新列。我正在使用 2.4.4 版本的火花。我正在使用这个

data.withColumn("currentdate", lit(constant_name))

我收到错误“未解决的参考亮起”。似乎 2.4.4 中没有因错误而点亮的功能，但是当我看到文档时，它就在那里。

标签： apache-sparkpysparkapache-spark-sqlpyspark-dataframes

Answer 1

您需要安装pyspark-stubs包，以便您的 IDE 解析对许多 Spark SQL 函数的引用，包括litie

pip install pyspark-stubs==2.4.0.post8