Apache Spark Apache游侠Yarn插件没有按预期工作?

vfwfrxfs  于 2023-06-24  发布在  Apache
关注(0)|答案(1)|浏览(133)

我用的是Kerberized Hadoop。我在资源管理器和数据节点上安装了游侠Yarn插件。然后我配置install.properties如下:

Repository Name       :  yarndev

Description           :  yarn repository

Username              :  yarn

Password              :  {password for yarn user in the system}

YARN REST URL         :  http://rm1:8088;http://rm2:8088

我已经在游侠管理用户界面中创建了yarndev插件
运行enable.sh,重启resourcemanagernodemanager服务后。
我已经看到2插件管理面板。(有2个插件是yarn插件,这是在我的resourcemanager节点)
当我更新策略时,2个节点下载我可以看到的策略。
问题是它没有任何影响。我的意思是任何用户都可以在任何队列上提交spark或hive应用程序,他们选择什么。
我想限制使用队列。
我有capacity scheduler xml来配置我的que设置,我可以看到,当我在yarn-site.xml中启用yarn插件时,有两个部分添加到文件的最后一个,如yarn.acl.enabletrue*,其他东西是yarn.authorization-provider
另一件事是,当我查看数据节点时,我可以看到有一个像/etc/ranger/yarndev/policycache/这样的文件夹,但这个文件夹是空的。这就像datanode从来没有从ranger管理处获得政策。我不知道为什么,因为/var / log /yarn/ nodemanager.log下没有日志
那么,我错过了什么?

kpbwa7wx

kpbwa7wx1#

我在capacity scheduler xml中配置我的每个队列包含根
yarn.scheduler.capacity.root.<queue-path>.acl_submit_applications到空间**”“**
然后呢
yarn.scheduler.capacity.root.<queue-path>.acl_administer_queue到空间和yarn**”yarn”**这意味着只有yarn组在每个队列中提交应用程序
但我只在root上应用上述设置,而不使用root.acl_administer_queue等子队列名称
就是这样,它的工作原理就像一个魅力

相关问题