时间戳

首页 > 解决方案 > 使用 java 中的 Hadoop API、FileUtil.copy() 或 DistCp.run() 在 Amazon S3 中复制包含大量文件的文件夹更有效

java - 使用 java 中的 Hadoop API、FileUtil.copy() 或 DistCp.run() 在 Amazon S3 中复制包含大量文件的文件夹更有效

问题描述

我正在尝试在 Amazon S3 中创建包含大量文件的文件夹的副本。源路径和目标路径都在 s3 存储桶中。但我真的不知道哪个选项更有效，FileUtil。 copy() 选项或 Distcp.run() 选项。这两个选项都很容易实现，我只是担心效率，因为我听说 distcp 会在 hadoop 文件系统中创建一个副本，然后将其传输到 s3 存储桶。

标签： javahadoopamazon-s3distcp

解决方案

推荐阅读