unix - scp远程文件到hadoop而不将它复制到边缘节点

想要将文件从远程服务器复制到 hadoop 而不复制到边缘节点。

1.根据下面的文章，我们可以分两步完成，首先对本地边缘节点执行 scp，然后执行 hdfs fs 命令以从边缘节点移动到 hdfs https://community.cloudera.com/t5/Support-Questions/Import -数据从远程服务器到 HDFS/td-p/233148

2.根据下面的文章，我们可以做 ssh cat，但是我们有像 .gz 这样的文件，它不能是 CAT 将远程文件放入 hadoop 而不将其复制到本地磁盘

但我正在寻找第三个选项，我们可以 scp 而不是 ssh CAT 并复制到 hadoop 而无需复制到 Edge 节点。

标签： unixhadoopsshscpcopying

Hadoop 没有 SCP 上传功能。

如果您想在没有边缘节点或 SSH 的情况下获取文件，那么这就是 WebHDFS 或 NFSGateway 提供的