python - 使用 urllib.request.urlretrieve 下载需要固定时间

Question

我注意到urllib.request.urlretrieve(url, fname_with_path)需要 24 秒来下载任何小文件：

file1   file size: 3336
done in -24.33854389190674  

file2   file size: 19252
done in -24.332698583602905

file3   file size: 62105
done in -24.43064308166504                                

file4   file size: 52405
done in -24.39844298362732 

虽然requests.get(url)下载相同文件的速度要快得多

file1   file size: 3336
done in -0.10920000076293945 

file2   file size: 19252
done in -0.1716001033782959

file3   file size: 62105
done in -0.3120005130767822    

file4   file size: 52405
done in -0.2652003765106201    

问题是 urllib 需要 24 秒来下载文件的原因是什么？我该如何解决它以使其更快？

标签： python

Answer 1

尝试使用此处提供的解决方案：python 下载速度非常慢。它通过将操作分为多个阶段（下载和写入文件）帮助我加快了检索文件的速度。