时间戳

首页 > 解决方案 > 如何在pyspark中分解数据框的多列

python - 如何在pyspark中分解数据框的多列

问题描述

我有一个数据框，其中包含类似于以下列的列表。所有列中列表的长度都不相同。

Name  Age  Subjects                  Grades
[Bob] [16] [Maths,Physics,Chemistry] [A,B,C]

我想以得到以下输出的方式分解数据框 -

Name Age Subjects Grades
Bob  16   Maths     A
Bob  16  Physics    B
Bob  16  Chemistry  C

我怎样才能做到这一点？

标签： pythondataframeapache-sparkpysparkapache-spark-sql

解决方案

PySparkarrays_zip在 2.4 中添加了一个函数，它消除了使用 Python UDF 压缩数组的需要。

import pyspark.sql.functions as F
from pyspark.sql.types import *

df = sql.createDataFrame(
    [(['Bob'], [16], ['Maths','Physics','Chemistry'], ['A','B','C'])],
    ['Name','Age','Subjects', 'Grades'])
df = df.withColumn("new", F.arrays_zip("Subjects", "Grades"))\
       .withColumn("new", F.explode("new"))\
       .select("Name", "Age", F.col("new.Subjects").alias("Subjects"), F.col("new.Grades").alias("Grades"))
df.show()

+-----+----+---------+------+
| Name| Age| Subjects|Grades|
+-----+----+---------+------+
|[Bob]|[16]|    Maths|     A|
|[Bob]|[16]|  Physics|     B|
|[Bob]|[16]|Chemistry|     C|
+-----+----+---------+------+

推荐阅读