在哪里可以找到已运行的java mapreduce作业的作业配置文件，如覆盖的默认设置和其他特定于作业的设置。我正在使用hadoop2.6.0。我假设每个使用其用户设置运行的作业都有一个作业配置文件。抱歉，如果这个问题是重复的，我们无法找到确切的答案。在myyarn-site.xml或mapred-site.xml中没有与此相关的内容。
2exbekwf1#
在你的 mapred-site.xml ，有配置参数： yarn.app.mapreduce.am.staging-dir .此参数的说明为：提交作业时使用的暂存目录。默认情况下，设置为：
mapred-site.xml
yarn.app.mapreduce.am.staging-dir
/tmp/hadoop-yarn/staging
此路径转换为：
{Value of config parameter `yarn.app.mapreduce.am.staging-dir`} + Path.SEPARATOR + user + Path.SEPARATOR + STAGING_CONSTANT
例如，在my mapred-site.xml中，此值设置为：
<property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/user</value> </property>
所以这条路径被转换成：
/user/{user}/{STAGING_CONSTANT}
即：
/user/mballur/.staging/ => Where user -> mballur and STAGING_CONSTANT -> .staging
在该文件夹中，当作业正在运行时，您将看到与作业相关的设置。例如，如果我的应用程序id是：application\u 1450100618247\u 0018，则暂存文件夹将是：
/user/mballur/.staging/job_1450100618247_0018/
在此文件夹中，您可以看到以下文件：
job.jar job.split job.xml job_1450100618247_0018_1.jhist job_1450100618247_0018_1_conf.xml
这里job.xml包含有关作业的配置信息。但是，当作业完成（成功或失败）时，作业的暂存目录将被删除。作业历史rest api:如果启用了历史记录服务器，则可以查看到目前为止执行的所有作业的历史记录。例如，检查以下链接：https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/historyserverrest.html#job_conf_api使用以下rest查询，可以获取作业的配置：
GET http://<history server http address:port>/ws/v1/history/mapreduce/jobs/{job_id}/conf
1条答案
按热度按时间2exbekwf1#
在你的
mapred-site.xml，有配置参数：yarn.app.mapreduce.am.staging-dir.此参数的说明为：
提交作业时使用的暂存目录。
默认情况下，设置为：
此路径转换为：
例如，在my mapred-site.xml中，此值设置为：
所以这条路径被转换成：
即：
在该文件夹中，当作业正在运行时，您将看到与作业相关的设置。
例如，如果我的应用程序id是：application\u 1450100618247\u 0018，则暂存文件夹将是：
在此文件夹中，您可以看到以下文件：
这里job.xml包含有关作业的配置信息。但是，当作业完成（成功或失败）时，作业的暂存目录将被删除。
作业历史rest api:
如果启用了历史记录服务器，则可以查看到目前为止执行的所有作业的历史记录。例如，检查以下链接：https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/historyserverrest.html#job_conf_api
使用以下rest查询，可以获取作业的配置：