hadoop - 将目录从远程 HDFS 本​​地文件系统复制到我的本地计算机

Question

我的本地 hdfs 环境中有一个目录，我想将它复制到本地计算机。我正在使用 ssh（使用密码）访问 hdfs。

我尝试了许多建议的复制命令，但没有奏效。

我尝试了什么：

scp ‘username@hn0-sc-had:Downloads/*’ ~/Downloads

如本链接所述。我究竟做错了什么？

标签： hadoophdfsscp

Answer 1

SCP 将从远程 Linux 服务器复制。

HDFS 不存在于单个服务器上或者是“本地文件系统”，因此 SCP 不是直接从中复制的正确工具

您的选择包括

1. SSH 到远程服务器
2. 用于hdfs dfs -copyToLocal从 HDFS 中提取文件
3. 使用计算机中的 SCP 获取刚刚下载到远程服务器上的文件

或者

1. 使用远程服务器中的 XML 文件配置本地 Hadoop CLI
2. hdfs dfs -copytoLocal从您自己的计算机直接针对 HDFS使用

或者

1. 安装 HDFS NFS 网关
2. 在本地计算机上挂载 NFS 卷，并从中复制文件