为hadoop distcp作业设置应用程序名称

xdnvmnnf 于 2021-05-27 发布在 Hadoop

关注(0)|答案(1)|浏览(825)

注意：我不想指定 YARN -hadoop中的队列名称：为distcp指定一个队列
我经常使用 hadoop distcp 用于移动数据 HDFS 并希望有一个描述性的应用程序名称为这些工作。
目前，所有的复制作业都只显示名称 "distcp" 在 Resource Manager 没有办法区分不同的工作。

有没有办法改进？

hadoop yarn DistCp

来源：https://stackoverflow.com/questions/54436022/set-yarn-application-name-for-hadoop-distcp-job

1条答案

按热度按时间

1l5u6lss1#

像许多其他mr工具一样， hadoop distcp 也可以让你通过 mapred 属性使用 -Dmapred.property.name=property-value 所以当我使用

hadoop distcp \
  -Dmapred.job.name=billing_db.replicate \
  -m 10 \
  /user/hive/warehouse/billing_db.db/ \
  s3a://my-s3-bucket/billing_db.db/

它看起来很漂亮 Resource Manager 用户界面

参考文献
hadoop:指定distcp的队列 Sqoop 用户指南：使用泛型和特定参数

赞(0）回复(0）举报 2021-05-27

我来回答

为hadoop distcp作业设置应用程序名称

1条答案

相关问题

热门标签

最新问答