python - 下载文件 raw.githubusercontent.com 非常慢

Question

我正在 python 3 中构建一个应用程序，需要从 raw.githubusercontent.com 下载一大堆 *.java 文件。基本上，我使用 GitHub 的 API v3 来获取给定存储库中以“.java”结尾的所有路径，然后通过 raw.githubusercontent.com 下载它们。问题是这真的很慢（< 10 kB/s）。现在有时，它以一个不错的速度开始（40-50 kB/s），但随后它通常会很快下降。

我尝试使用 requests.Session() 保持持久连接。我也尝试过使用有人建议的授权令牌。这两个都没有改善。

这就是我的代码的样子：

with requests.Session() as s:
    path_index = ""
    for path in paths.splitlines():
        file_url = githubusercontent_prefix + path
        filename = path.split("/")[-1]
        res = s.get(file_url, stream=True, allow_redirects=True)
        outf = open("sources/" + filename, 'w')
        outf.write(res.text)
        outf.close()

标签： pythongithubgithub-api