如何通过oozie rest api在有效负载中传递凭据以执行配置单元操作

ctrmrzij  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(301)

我有一个安全的hadoop群集,我想使用oozie rest api运行配置单元操作。我可以通过oozie rest api使用workflow.xml运行配置单元操作。但是如果我尝试在不使用workflow.xml(在负载中传递配置)的情况下运行同一个配置单元操作,它会由于凭据而失败。有什么方法可以在负载中传递此凭据吗oozie rest api的。

gkl3eglg

gkl3eglg1#

第一步:上传 workflow.xml (或 whatever.0F253C.xml )使用webhdfs或httpfsrestapi将脚本(包括凭据定义中的参数)添加到hdfs

<credentials>
        <credential name='HiveMetastore' type='hcat'>
            <property>
              <name>hcat.metastore.uri</name>
              <value>${hiveMetastoreURI}</value>
            </property>
            <property>
              <name>hcat.metastore.principal</name>
              <value>${hivePrincipal}</value>
            </property>
        </credential>
  </credentials>

...

<action name="DummyHive" cred="HiveMetastore">
    <hive xmlns="uri:oozie:hive-action:0.3">

...
第2步:提交一个带有xml脚本和参数实际值的工作流

oozie.wf.application.path=/user/johndoe/hic_sunt_leones/whatever.0F253C.xml
hiveMetastoreURI=thrift://dummy.nsa.gov:9083
hivePrincipal=hive/_HOST@HADOOP.NSA.GOV

...

相关问题