时间戳

首页 > 解决方案 > 将 spark 数据帧中 MapType 类型的列的数据转换为字符串

python - 将 spark 数据帧中 MapType 类型的列的数据转换为字符串

问题描述

我有一个数据框，其中有一列 MapType 类型：

df = spark.createDataFrame(
    spark._sc.parallelize(
        [[{"x": 30.0, "pool": 20.0, "helium": 10.0}, -5],
         [{"x": 40.0, "pool": 30.0, "helium": 20.0}, 5]]
    ),
    [
         "col1", "col2"
    ]
)

+------------------------------+-----+
|col1                          |col2 |
+------------------------------+-----+
|[x -> 1.0, y -> 2.0, z -> 3.0]| 5.0 |
|[x -> 4.0, y -> 5.0, z -> 6.0]| 5.0 |
+------------------------------+-----+

我在将其写入 CSV 文件时遇到问题。它抱怨 CSV 数据源不支持地图数据类型。有没有办法将“col1”数据转换为字符串数据类型，以便我可以继续写入 CSV 文件？我需要将数据框转换为如下内容：

+------------------------------+-----+
|col1                          |col2 |
+------------------------------+-----+
|"x: 1.0, y: 2.0, z: 3.0"      | 5.0 |
|"x: 4.0, y: 5.0, z: 6.0"      | 5.0 |
+------------------------------+-----+

标签： pythonpysparkpyspark-dataframes

解决方案

您应该在内置函数to_json中使用 spark 将您的转换MapType为string：

from pyspark.sql import functions as F


df.withColumn("col1", F.to_json("col1")).show(truncate=False)

#+------------------------------------+----+
#|col1                                |col2|
#+------------------------------------+----+
#|{"pool":20.0,"x":30.0,"helium":10.0}|-5  |
#|{"pool":30.0,"x":40.0,"helium":20.0}|5   |
#+------------------------------------+----+

你也可以使用regexp_replace它：

df.withColumn("col1",F.regexp_replace(F.to_json("col1"),'"','')).show(truncate=False)

#+------------------------------+----+
#|col1                          |col2|
#+------------------------------+----+
#|{pool:20.0,x:30.0,helium:10.0}|-5  |
#|{pool:30.0,x:40.0,helium:20.0}|5   |
#+------------------------------+----+

你也可以concat用它来获得你想要的输出：

df.withColumn("col1", F.concat(F.lit('"'),\
                      F.regexp_replace(F.to_json("col1"),'"','')\
                              ,F.lit('"')))\
                       .show(truncate=False)

#+--------------------------------+----+
#|col1                            |col2|
#+--------------------------------+----+
#|"{pool:20.0,x:30.0,helium:10.0}"|-5  |
#|"{pool:30.0,x:40.0,helium:20.0}"|5   |
#+--------------------------------+----+

推荐阅读