yarn客户端身份验证失败，但未启用简单身份验证可用：[令牌]

s4n0splo 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(1264)

我已经设置了一个简单的本地phd3.0hadoop集群，并遵循了springyarn基本入门指南中描述的步骤
在hadoop集群上运行应用程序

org.apache.hadoop.security.AccessControlException: SIMPLE authentication is not enabled.  Available:[TOKEN]

以及Yarn资源管理器中的以下堆栈跟踪：

org.apache.hadoop.security.AccessControlException: SIMPLE authentication is not enabled.  Available:[TOKEN]
    at org.apache.hadoop.ipc.Server$Connection.initializeAuthContext(Server.java:1554)
    at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1510)
    at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:762)
    at org.apache.hadoop.ipc.Server$Listener$Reader.doRunLoop(Server.java:636)
    at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:607)

这可能是一个非常基本的问题。我只想运行一个应用程序测试而不设置任何身份验证。
据我所知，yarn不允许简单的客户端身份验证：https://issues.apache.org/jira/browse/yarn-2156
根据这个问题，如何将kerberos票证传递给spring应用程序
我可能会设置kerberos身份验证。
有没有一种方法可以运行spring-yarn示例而不需要详细的身份验证设置？

hadoop spring yarn Authentication

来源：https://stackoverflow.com/questions/32008324/yarn-client-authentication-fails-with-simple-authentication-is-not-enabled-avai

2条答案

按热度按时间

puruo6ea1#

我刚刚用5节点phd30集群试了一下，一切正常：
在 build.gradle 我使用phd30包而不是vanilla（它依赖于hadoop2.6.0）。在这种情况下，版本应该无关紧要。

compile("org.springframework.data:spring-yarn-boot:2.2.0.RELEASE-phd30")
testCompile("org.springframework.data:spring-yarn-boot-test:2.2.0.RELEASE-phd30")

在 src/main/resources/application.yml 我更改了hdfs、rm和计划程序地址以匹配群集设置：

spring:
    hadoop:
        fsUri: hdfs://ambari-2.localdomain:8020
        resourceManagerAddress: ambari-3.localdomain:8050
        resourceManagerSchedulerAddress: ambari-3.localdomain:8030

然后我就从自己的电脑外部运行它：

$ java -jar target/gs-yarn-basic-single-0.1.0.jar

有一个 appmaster 还有一个 container 已执行，应用程序应成功。
如果它仍然不起作用，那么还有别的东西。我没有部署 hawk 如果这有区别的话。

赞(0）回复(0）举报 2021-06-04

bqjvbblv2#

我的错误很简单。我不得不补充一句

spring:
    hadoop:
        resourceManagerAddress: myyarnhost:8050
        resourceManagerSchedulerAddress: myyarnhost:8030

到 application.yml 同样，但是混淆了端口号（8030代表manager，8050代表managerscheduler）。而那个打字错误造成了这样的影响。
也许将这两个配置属性添加到入门指南可以为下一个读者节省一些时间。
另外，为了在新安装的phd3.0上运行这个示例，我必须通过导出默认值来修改hdfs客户机用户名 HADOOP_USER_NAME :

export HADOOP_USER_NAME=hdfs

赞(0）回复(0）举报 2021-06-03

我来回答

yarn客户端身份验证失败，但未启用简单身份验证可用：[令牌]

2条答案

相关问题

热门标签

最新问答