时间戳

首页 > 解决方案 > 如何通过 sed 命令将单行 json 转换为多行

json - 如何通过 sed 命令将单行 json 转换为多行

问题描述

考虑以下 JSON 片段：

  [{
        "first": "rand_data",
        "second": "rand2_data"
    }, {
        "first  " : "for{change } in code",
        "second" : "change[it]"

    }]

我在 hdfs 上有一个大约 20 GB 的大 json 文件，这是一行。通过 pyspark 阅读。它未能给出错误（SPARK read.json throwing java.io.IOException: Too many bytes before newline）。我想使用 sed 或任何命令在 json 文件中添加新行，以便 spark 能够加载它。

标签： jsonpyspark

解决方案

推荐阅读