我是oozie的新用户。目前,我正在尝试从oozie中的shell脚本运行一个示例bigquery命令(例如:bq ls-p)。但每次都失败了。下面我提供了工作流和shell脚本。我在hortonworks沙盒中尝试,gcloud在hortonworks沙盒中经过身份验证。
我想知道是不是不能从oozie运行bigquery命令?afaik hortonworks沙盒使用与datanode和jobnode相同的virtualbox。如果我可以运行,那么任何人都可以帮助我找到答案-如果我要从更大的hadoop集群运行,我需要验证每个节点中的gcloud吗?
提前谢谢。我的工作流xml示例:
<workflow..
<start to="run_shell" />
<action name="run_shell" retry-max="2" retry-interval="1">
<shell xmlns="uri:oozie:shell-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>default</value>
</property>
</configuration>
<exec>pl2.sh</exec>
<argument>/user/bandyoa/AP/</argument>
<file>${nameNode}/user/bandyoa/AP/pl2.sh#pl2.sh</file>
<capture-output/>
</shell>
<ok to="end"/>
<error to="failure_mail"/>
</action>
</workflo..>
和shell脚本:
# !/bin/bash
bq ls -p
1条答案
按热度按时间rbpvctlc1#
将所有项目设置和身份验证设置从/home/hdfs/.config和/home/hdfs/.bigqueryrc复制到/home/并将它们设置为所有用户都可读/写,这让oozie为我感到高兴。现在
bq ls
返回默认数据集中的表列表。