我已经设置了一个简单的本地phd3.0hadoop集群,并遵循了springyarn基本入门指南中描述的步骤
在hadoop集群上运行应用程序
org.apache.hadoop.security.AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN]
以及Yarn资源管理器中的以下堆栈跟踪:
org.apache.hadoop.security.AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN]
at org.apache.hadoop.ipc.Server$Connection.initializeAuthContext(Server.java:1554)
at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1510)
at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:762)
at org.apache.hadoop.ipc.Server$Listener$Reader.doRunLoop(Server.java:636)
at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:607)
这可能是一个非常基本的问题。我只想运行一个应用程序测试而不设置任何身份验证。
据我所知,yarn不允许简单的客户端身份验证:https://issues.apache.org/jira/browse/yarn-2156
根据这个问题,如何将kerberos票证传递给spring应用程序
我可能会设置kerberos身份验证。
有没有一种方法可以运行spring-yarn示例而不需要详细的身份验证设置?
2条答案
按热度按时间puruo6ea1#
我刚刚用5节点phd30集群试了一下,一切正常:
在
build.gradle
我使用phd30包而不是vanilla(它依赖于hadoop2.6.0)。在这种情况下,版本应该无关紧要。在
src/main/resources/application.yml
我更改了hdfs、rm和计划程序地址以匹配群集设置:然后我就从自己的电脑外部运行它:
有一个
appmaster
还有一个container
已执行,应用程序应成功。如果它仍然不起作用,那么还有别的东西。我没有部署
hawk
如果这有区别的话。bqjvbblv2#
我的错误很简单。我不得不补充一句
到
application.yml
同样,但是混淆了端口号(8030代表manager,8050代表managerscheduler)。而那个打字错误造成了这样的影响。也许将这两个配置属性添加到入门指南可以为下一个读者节省一些时间。
另外,为了在新安装的phd3.0上运行这个示例,我必须通过导出默认值来修改hdfs客户机用户名
HADOOP_USER_NAME
: