时间戳

首页 > 解决方案 > 如何避免附加在 spark df 中的反斜杠

apache-spark - 如何避免附加在 spark df 中的反斜杠

问题描述

我创建了以下数据框，并在将其保存为 JSON 的同时，附加了反斜杠。如何避免？

df2=df1.withColumn("details",F.struct("id1","id2")).withColumn("result",F.struct("time","dist")).select("details", “结果”）

df3=df2.withColumn("step1",F.struct("details","re​​sult"))

df4= df3.withColumn("value",F.struct("step1"))

df5=df4.withColumn("type",F.lit("START")).select("values","value")

df5.write.format("json").mode("overwrite").option("delimiter",",").option("quote","").save("/home/usr/test1.json ")

#{"type":"start", "values":{"step1":{"details":{"id1":"es1","id2":"d455"},"result":{"time" :6785467578, "dist":7.95" }}}}

#输出：{ "type":"start", "values":{"step1":"{"details":"id1":"es1", "id2": "d455"},"result":{"时间":6785467578, "dist":7.95"}}"}}

标签： apache-sparkpyspark

解决方案

推荐阅读