时间戳

首页 > 解决方案 > 如何使用 Python 快速下载 Tar 文件、解压缩并将内容上传到 Azure 块存储？

python - 如何使用 Python 快速下载 Tar 文件、解压缩并将内容上传到 Azure 块存储？

问题描述

我有以下在 Jupyter Notebook 中运行的 Python 代码。它从源位置下载tar文件，解压缩并上传到 Azure Blob 存储。

import os
import tarfile
from azure.storage.blob import BlobClient

def upload_folder(local_path):
    connection_string = "XXX"
    container_name = "mycontainername"
    
    with tarfile.open(local_path, "r") as file:
        for each in file.getnames():
            print(each)
            file.extract(each)          
            blob = BlobClient.from_connection_string(connection_string,
                                                     container_name=container_name,
                                                     blob_name=each)

            with open(each, "rb") as f:
                blob.upload_blob(f, overwrite=True)
            os.remove(each)


# MAIN
!wget https://path/to/myarchive.tar.gz

local_path = "myarchive.tar.gz"

upload_folder(local_path)

!rm -rf myarchive.tar.gz
!rm -rf myarchive

myarchive.tar.gz占用 1Gb，相当于大约 4Gb 的未压缩数据。问题是即使对于相对较小的数据量，运行此代码也需要很长时间。大约需要5-6个小时。

我究竟做错了什么？有什么方法可以优化我的代码以更快地运行它？

标签： pythonazureazure-blob-storageazure-sdk

解决方案

您可以将上传文件处理作为一项任务并用于multiprocessing创建一些进程池。然后我们可以在池中一次性运行一些任务来增加脚本的速度。有关更多详细信息，请参阅此处和此处

推荐阅读