python - 如何从限制同时下载的 url 批量下载图像 (70k)？

Question

我有点不知所措。我有一个包含这些列的 csv 文件： 名称 - 图片 url 我想将 70k 图像批量下载到一个文件夹中，用第一列中的名称重命名图像，如果每个名称有多个，则为它们编号。有些是jpeg，有些是png。

我猜我需要使用 pandas 从 csv 获取数据，但我不知道如何在不同时开始所有下载的情况下进行下载/重命名部分，这肯定会使我的计算机崩溃（确实，我什至没有生气）。提前感谢您对此有所了解。

标签： pythonimageurldownloadbulk

Answer 1

尝试分批下载 500 张图像……然后休眠 1 秒钟并循环播放……相当耗时……但确定触发方法……对于编码参考，您可以探索 urllib 之类的包（用于下载) 并且一旦您下载文件，请使用 os.rename() 更改名称....正如您已经知道该 csv 文件使用熊猫...