在oozie工作流中获取oozie作业信息

ippsafx7 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(311)

通过在命令行上使用下面的命令，我们可以获得oozie作业的作业详细信息，尽管它仍在进行中。

export OOZIE_URL=http://..../oozie
oozie job -info 0177204-172227110941438-oozie-oozi-W

有oozie工作流正在运行，在最后一个shell操作中，我试图将作业信息详细信息捕获到一个文件中。

job.sh
------------
job_id=${1}

export OOZIE_URL=http://..../oozie
oozie job -info job_id >> /tmp/job_id.txt

但是上面的命令不起作用。有没有办法，我们如何在正在运行的oozie作业中获取作业信息的详细信息，并将其存储在文本文件中。

hadoop shell oozie

来源：https://stackoverflow.com/questions/48220856/get-oozie-job-information-in-oozie-workflow

2条答案

按热度按时间

vwkv1x7d1#

您确定已检查群集中正确节点上的结果吗？您可以将其上载到hdfs以方便访问：

hadoop fs -put /tmp/job_id.txt /tmp

# and then

hadoop fs -cat hdfs:///tmp/job_id.txt

如果运行，则可以收集更多调试数据 oozie job 与 -debug 选项。然后检查oozie生成的url是否正确（例如，将其粘贴到浏览器）。也许你的oozie网址有问题？
如果shell脚本的输入参数（作业id）设置正确，则进行验证。要访问oozie工作流中的作业id，可以使用 ${wf:id()} .

赞(0）回复(0）举报 2021-05-29

jbose2ul2#

我希望您在一个集群上运行您的命令，您可以从该集群获取信息/杀死/启动oozie作业。如果是这样的话，那么你的命令应该可以正常工作。我尝试了下面的命令，我能够看到结果。

cluster:~$ oozie job -info job-id -oozie http://gateway-url/oozie/ > a.txt
cluster:~$ cat a.txt

输出为：

Job ID : job-id
------------------------------------------------------------------------------------------------------------------------------------
Workflow Name : workflow-name
App Path      : hdfs://path/to/workflow.xml
Status        : RUNNING
Run           : 0
User          : user-id
Group         : -
Created       : 2018-07-05 22:30 GMT
Started       : 2018-07-05 22:30 GMT
Last Modified : 2018-07-06 05:17 GMT
Ended         : -
CoordAction ID: coordinator-id@410

Actions
------------------------------------------------------------------------------------------------------------------------------------
ID                                        Status    Ext ID                    Ext Status                  Err Code
------------------------------------------------------------------------------------------------------------------------------------
job-id@:start:                            OK        -                         OK                           -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action1                            OK        -                         action2                      -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action2                            OK        -                         OK                           -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action3                            OK        -                         action4                      -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action4                            OK        MR_job_id1                SUCCEEDED                    -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action5                            OK        MR_job_id2                SUCCEEDED                    -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action6                            OK        -                         action7                      -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action7                            OK        MR_job_id3                SUCCEEDED                    -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action8                            OK        MR_job_id4                SUCCEEDED                    -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action9                            RUNNING   MR_job_id5                RUNNING                      -
------------------------------------------------------------------------------------------------------------------------------------

赞(0）回复(0）举报 2021-05-29

我来回答

在oozie工作流中获取oozie作业信息

2条答案

相关问题

热门标签

最新问答