如何为配置单元查询子作业设置mapreduce作业名称?

hec6srdp  于 2021-06-25  发布在  Hive
关注(0)|答案(0)|浏览(306)

我们的配置单元查询创建了9个map reduce作业和17个stage(当我运行explain命令时,输出显示了17个stage和stage依赖项)。每个孩子的工作都是一样的 mapreduce.job.name 为了区分这些儿童工作,我有没有办法设定 mapreduce.job.name 在配置单元查询中,以便对于每个作业,我可以看到作业的阶段。所有9个子作业的现有作业名称:

Job.Name : hive_query_map_reduce_job

有没有什么方法可以让我得到的工作名称在工作跟踪器作为

Job.Name : hive_query_map_reduce_job_stage_1
Job.Name : hive_query_map_reduce_job_stage_2
Job.Name : hive_query_map_reduce_job_stage_3
...

我提到了如何控制一个Hive作业名称,但保留阶段信息?但并没有如预期的那样奏效。我试着设置 mapreduce.job.name 在查询内部的多个位置有不同的值,但所有子作业都采用我最后分配的值。假设我的查询文件是hivequery.q
hivequery.q文件
套hiveconf:mapreduce.job.name=“唯一名称1”。
...
--一些查询语句
...
套hiveconf:mapreduce.job.name=“唯一名称2”。
...
--一些查询语句
...
套hiveconf:mapreduce.job.name=“唯一名称3”。
对于上面的查询,所有9个mapreduce作业 "unique name 3" 作为作业名称。我也试过了 hive.query.name 以及 hive.query.string 但这些都没用。这可能吗?有人知道如何做到这一点吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题