apache-spark - 如何从结构转换 DataFrame 列构造> 在 pyspark 中？

Question

我有一个具有这种结构的 DataFrame：

root
 |-- features: struct (nullable = true)
 |    |-- value: double (nullable = true)

我想将双精度类型的值转换为“数组值”类型。我怎样才能做到这一点？

标签： apache-sparkpysparkapache-spark-sqltype-conversion

Answer 1

您可以使用结构和数组显式指定转换：

import pyspark.sql.functions as F

df.printSchema()
#root
# |-- features: struct (nullable = false)
# |    |-- value: double (nullable = false)

df2 = df.withColumn(
    'features',
    F.struct(
        F.array(F.col('features')['value']).alias('values')
    )
)

df2.printSchema()
#root
# |-- features: struct (nullable = false)
# |    |-- values: array (nullable = false)
# |    |    |-- element: double (containsNull = false)