时间戳

首页 > 解决方案 > Python使用调度库下载文件

python - Python使用调度库下载文件

问题描述

我有一个称为 oaids 的 id 列表，我希望从周一到周五从午夜到下午 6 点下载它们，但只能在一天中的特定时间段内下载。因为它是一个列表，所以如果它已经下载，我希望它不要重新开始。
下面我虽然但我不确定，你有什么建议吗？

import schedule
from schedule import repeat
from more_itertools import chunked

def main():
  oaids = ['id1', 'id2', 'others..']
  for chunked_oaids in chunked(oaids, os.cpu_count()):
    schedule.every() \
      .monday \
      .to(5).days \
      .at('00:00:00') \
      .to(15).hours \
      .do(do_download_job, oaids=chunked_oaids)

def do_download_job(oaids):
  with ProcessPoolExecutor(os.cpu_count()) as ex:
    results = [ex.submit(download_and_upload, oaid, target_az_container, az_subfolder) for oaid in oaids]

标签： pythonscheduled-tasksschedulerpython-schedule

解决方案

推荐阅读