我想用s3 dist cp将emr hdfs中的一些文件复制到s3 bucket中，我在“emr master node”中尝试了这个cmd：
s3-dist-cp -Dmapred.job.name=my_copy_job --src hdfs:///user/hadoop/abc s3://my_bucket/my_key/此命令执行得很好，但当我在资源管理器ui中检查作业名称时，它显示如下： S3DistCp hdfs:///user/hadoop/**->**s3://my_bucket/my_key/ 然而，预期的作业名称应该是 my_copy_job 感谢您的帮助，！
注意：使用此选项运行hadoop distcp时 -Dmapred.job.name=my_copy_job ，它在rm ui中正确显示作业名称，但作业最终失败
1条答案
按热度按时间0x6upsns1#
s3-dist-cp不支持-D在运行时设置的样式属性为hadoop distcp做。s3distcp只接受这里列出的一组有限的选项。除了由定义的这些选项之外S3DistCp，它接受工具接口的通用选项。但是
JobName不是其中之一。JobName在s3distcp代码中硬编码，不能重写。