时间戳

首页 > 解决方案 > AzCopy 是否可以直接从 HDFS 而不是从本地存储将文件传输到 Azure？

azure - AzCopy 是否可以直接从 HDFS 而不是从本地存储将文件传输到 Azure？

问题描述

我想我有一个相当直截了当的问题。我正在使用托管在 Unix 机器上的 Hadoop 集群。我需要将 ORC 文件从这个 Hadoop 集群传输到 Azure BLOB 存储。

如果我在托管 Hadoop 群集的 Unix 计算机上安装 AzCopy，我是否能够在 HDFS 和 Azure 之间来回传输文件？

我在 Internet 上看到的所有信息都只涉及本地存储到 Azure 之间的传输。所以，我仍然对从 HDFS 到 Azure 的传输感到困惑。

有人可以帮我解决这个关于 AzCopy 的困惑吗？会有很大的帮助。提前致谢。

标签： azurehadoophdfsazure-blob-storage

解决方案

您可以为此使用 distcp 。从这里查看解决方案（我只是颠倒了参数的顺序）https://stackoverflow.com/a/54514602/1537195

hadoop  distcp -D fs.azure.account.key.<account name>.blob.core.windows.net=<Key> hdfs://<hdfs path> wasb://<container>@<account>.blob.core.windows.net<path to wasb file>

推荐阅读