python - 从 Pyspark Dataframe 解析 JSON 字符串

Question

我有一个嵌套的 JSON 字典，需要将其转换为 spark 数据框。此 JSON dict 存在于数据框列中。我一直在尝试使用“from_json”和“get_json_object”解析数据框列中存在的dict，但无法读取数据。这是我一直在尝试读取的源数据的最小片段：

{"value": "\u0000\u0000\u0000\u0000/{\"context\":\"data\"}"}

我需要提取嵌套的 dict 值。我使用下面的代码来清理数据并将其读入数据帧

from pyspark.sql.functions import *
from pyspark.sql.types import *
input_path = '/FileStore/tables/enrl/context2.json      #path for the above file
schema1 = StructType([StructField("context",StringType(),True)]) #Schema I'm providing
raw_df = spark.read.json(input_path)
cleansed_df = raw_df.withColumn("cleansed_value",regexp_replace(raw_df.value,'/','')).select('cleansed_value') #Removed extra '/' in the data

cleansed_df.select(from_json('cleansed_value',schema=schema1)).show(1, truncate=False)

每次运行上述代码时，我都会得到一个空数据框。请帮忙。

尝试了以下内容，但没有成功： PySpark：从字符串类型列读取嵌套 JSON 并创建列

还尝试将其写入 JSON 文件并读取它。效果不佳： 在 pyspark 中读取嵌套的 JSON 文件

标签： pythonjsonapache-sparkpysparkapache-spark-sql

Answer 1

空字符\u0000会影响 JSON 的解析。您也可以替换它们：

df = spark.read.json('path')

df2 = df.withColumn(
    'cleansed_value', 
    F.regexp_replace('value','[\u0000/]','')
).withColumn(
    'parsed', 
    F.from_json('cleansed_value','context string')
)

df2.show(20,0)
+-----------------------+------------------+------+
|value                  |cleansed_value    |parsed|
+-----------------------+------------------+------+
|/{"context":"data"}|{"context":"data"}|[data]|
+-----------------------+------------------+------+