首页 > 解决方案 > 使用 Python 将 Json 转换为换行 Json 标准

问题描述

我有一个获取嵌套对象并删除所有嵌套的代码(使对象变平):

def flatten_json(y):
    """
    @param y: Unflated Json
    @return: Flated Json
    """
    out = {}

    def flatten(x, name=''):
        if type(x) is dict:
            for a in x:
                flatten(x[a], name + a + '_')
        elif type(x) is list:
            out[name[:-1]] = x
        else:
            out[name[:-1]] = x

    flatten(y)
    return out

def generatejson(response):
    sample_object = pd.DataFrame(response.json())['results'].to_dict()
    flat = {k: flatten_json(v) for k, v in sample_object.items()}
    return json.dumps(flat, sort_keys=True)

respons= requests.get(urlApi, data=data, headers=hed, verify=False)
flat1 = generatejson(respons)

....
storage.Bucket(BUCKET_NAME).item(path).write_to(flat1, 'application/json')

这将执行以下操作:

  1. 从 API 获取调用
  2. 移除嵌套对象
  3. 生成json
  4. 将 json 上传到 Google 存储。

这很好用。问题是 BigQuery 不支持 Json,所以我需要在上传之前将其转换为换行 Json 标准格式。

有没有办法改变返回json.dumps(flat, sort_keys=True),所以它会返回新的 Json 格式而不是常规的 Json?

我的 Json 示例:

{"0": {"code": "en-GB", "id": 77, "languageName": "English", "name": "English"}, 
"1": {"code": "de-DE", "id": 78, "languageName": "Deutsch", "name": "German"}}

编辑:

新行 json 的预期结果是:

{"languageName":"English","code":"en-GB","id":2,"name":"English"}
{"languageName":"Deutsch","code":"de-DE","id":5,"name":"German"}

例如,如果我接受 API 调用并执行以下操作:

df['results'].to_json(orient="records",lines=True)

这将提供所需的输出。但我不能这样做,因为json.dumps(flat, sort_keys=True)那里没有使用数据框。

标签: pythonjson

解决方案


我想你正在寻找这样的东西?

import json

def create_jsonlines(original):

    if isinstance(original, str):
        original = json.loads(original)

    return '\n'.join([json.dumps(original[outer_key], sort_keys=True) 
                      for outer_key in sorted(original.keys(),
                                              key=lambda x: int(x))])

# Added fake record to prove order is sorted
inp = {
   "3": {"code": "en-FR", "id": 76, "name": "French", "languageName": "French"},
   "0": {"code": "en-GB", "id": 77, "languageName": "English", "name": "English"}, 
   "1": {"code": "de-DE", "id": 78, "languageName": "Deutsch", "name": "German"}
   }
output = create_jsonlines(inp)

print(output)

推荐阅读