bigquery命令无法从oozie工作流运行

szqfcxe2  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(373)

我是oozie的新用户。目前,我正在尝试从oozie中的shell脚本运行一个示例bigquery命令(例如:bq ls-p)。但每次都失败了。下面我提供了工作流和shell脚本。我在hortonworks沙盒中尝试,gcloud在hortonworks沙盒中经过身份验证。
我想知道是不是不能从oozie运行bigquery命令?afaik hortonworks沙盒使用与datanode和jobnode相同的virtualbox。如果我可以运行,那么任何人都可以帮助我找到答案-如果我要从更大的hadoop集群运行,我需要验证每个节点中的gcloud吗?
提前谢谢。我的工作流xml示例:

<workflow..
   <start to="run_shell" />
      <action name="run_shell" retry-max="2" retry-interval="1">
        <shell xmlns="uri:oozie:shell-action:0.2">
           <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                  <name>mapred.job.queue.name</name>
                  <value>default</value>
                </property>
            </configuration>
            <exec>pl2.sh</exec>
            <argument>/user/bandyoa/AP/</argument>
            <file>${nameNode}/user/bandyoa/AP/pl2.sh#pl2.sh</file> 
            <capture-output/>
        </shell>
        <ok to="end"/>
      <error to="failure_mail"/>
    </action>
</workflo..>

和shell脚本:


# !/bin/bash

bq ls -p
rbpvctlc

rbpvctlc1#

将所有项目设置和身份验证设置从/home/hdfs/.config和/home/hdfs/.bigqueryrc复制到/home/并将它们设置为所有用户都可读/写,这让oozie为我感到高兴。现在 bq ls 返回默认数据集中的表列表。

相关问题