时间戳

首页 > 解决方案 > 如何使用 Python FAST 下载和解析 JSON

python - 如何使用 Python FAST 下载和解析 JSON

问题描述

我正在尝试下载 JSON 文件

with urlopen(url_str) as url:
    return json.loads(url.read().decode())

而且它的运行速度非常慢（比等效的 Java 代码慢 10 倍以上）。

有没有办法以正常速度执行此操作？

更新

我是这样写的：

def read_json_data(url_str: str):
    req = Request(url_str, headers={'Accept-encoding': 'gzip'})
    with urlopen(req) as resp:
        if resp.info().get('Content-Encoding') == 'gzip':
            with gzip.GzipFile(fileobj=resp) as fp:
                data = json.load(fp)
        else:
            data = json.load(resp)
        return data

但是出现错误json.load(fp)：

TypeError: the JSON object must be str, not 'bytes'

为什么？不是json.load（没有s）接受文件指针吗？

标签： pythonjsonpython-3.xperformancedownload

解决方案

urlopen supports gzip, you just have to ask for it:

import urllib.request
import gzip
import json

urlstr = "http://example.com/your-json-url"

req = urllib.request.Request(urlstr,
    headers={'Accept-encoding':'gzip'})

resp = urllib.request.urlopen(req)
if resp.info().get('Content-Encoding') == 'gzip':
    print("got gzip")
    data = json.load(gzip.GzipFile(resp))
else:
    print("no gzip")
    data = json.load(resp)

推荐阅读