时间戳

首页 > 解决方案 > 预定从多个 URL 下载文件

python - 预定从多个 URL 下载文件

问题描述

每月一次，我的团队需要访问多个来源并下载各种文档。我的目标是找到一个工具或创建一个脚本，可以按计划联系多个来源，下载最新的文档，并覆盖以前的副本。

由于我的 python 技能相当生疏，我希望已经存在一些我至少可以作为起点的东西。如果没有，我将不胜感激作为起点的一些方向。似乎用 Python 做到这一点的方法是通过请求？

标签： pythoncurldownloadpython-requestswget

解决方案

每个 doc/URL 一行，从 crontab 或类似文件中运行。如果服务器的资源版本比本地版本更新，则有条件地下载 URL：

curl --remote-name 
  --time-cond file.doc 
  https://example.com/p/file.doc

如果您有 curl 7.68.0 或更高版本，您甚至可以执行 etag 条件，使其与时间相互依赖：

curl --remote-name 
  --etag-compare etags.txt 
  --etag-save etags.txt 
  https://example.com/p/file.doc

推荐阅读