将hadoop用户设置为通过oozie shell操作启动spark submit

osh3o9ms  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(333)

我想在通过shell操作启动oozie工作流时为spark submit操作设置hadoop用户:oozie mr(启动shell的)应该作为用户a启动,但是spark submit(从shell脚本启动)应该作为用户b启动。
我试图用“export hadoop\u user\u name=b”(在shell脚本中)设置user.name=a(在job.properties中),但除非a=b,否则它就不起作用。
有人能帮忙吗?
p、 我用的是oozie 4.0.0和cdh 5.3.1以及spark 1.2.0。

50few1ms

50few1ms1#

我很惊讶 HADOOP_USER_NAME 在shell中,脚本不起作用,但您可以尝试添加

<shell ...>
  ...
  <env-var>HADOOP_USER_NAME=B</env-var>
  ...
</shell>

到xml中的shell操作。

相关问题