hadoop - 为 Hadoop Distcp 作业设置 YARN 应用程序名称

注意：我不YARN想像在 Hadoop 中那样指定 -queue 名称：为 distcp 指定纱线队列

我经常hadoop distcp用于移动数据，HDFS并希望为这些作业提供一个描述性的应用程序名称。

目前所有的复制作业都只是"distcp"在Resource ManagerUI 上显示名称，无法区分不同的作业。

有没有办法改进它？

标签： hadoophadoop-yarndistcp

像许多其他MR 工具一样，hadoop distcp还允许mapred您使用

-Dmapred.property.name=property-value

所以当我使用

hadoop distcp \
  -Dmapred.job.name=billing_db.replicate \
  -m 10 \
  /user/hive/warehouse/billing_db.db/ \
  s3a://my-s3-bucket/billing_db.db/

Resource Manager它在UI上看起来很好

参考