hadoop ioexception登录失败

9wbgstp7 于 2021-06-02 发布在 Hadoop

关注(0)|答案(3)|浏览(747)

我是hadoop的新手。但是，我已经能够在我的服务器上以集群模式成功地用Java7安装Hadoop2.7.3。一切都很好。
但是，当我尝试切换到java 8并启动dfs时，出现了一个错误：

Exception in thread "main" java.io.IOException: failure to login
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:824)
    at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:761)
    at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:634)
    at org.apache.hadoop.hdfs.tools.GetConf.run(GetConf.java:315)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
    at org.apache.hadoop.hdfs.tools.GetConf.main(GetConf.java:332)
Caused by: javax.security.auth.login.LoginException: java.lang.NullPointerException: invalid null input: name
    at com.sun.security.auth.UnixPrincipal.<init>(UnixPrincipal.java:71)
    at com.sun.security.auth.module.UnixLoginModule.login(UnixLoginModule.java:133)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at javax.security.auth.login.LoginContext.invoke(LoginContext.java:755)
    at javax.security.auth.login.LoginContext.access$000(LoginContext.java:195)
    at javax.security.auth.login.LoginContext$4.run(LoginContext.java:682)
    at javax.security.auth.login.LoginContext$4.run(LoginContext.java:680)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.login.LoginContext.invokePriv(LoginContext.java:680)
    at javax.security.auth.login.LoginContext.login(LoginContext.java:587)
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:799)
    at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:761)
    at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:634)
    at org.apache.hadoop.hdfs.tools.GetConf.run(GetConf.java:315)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
    at org.apache.hadoop.hdfs.tools.GetConf.main(GetConf.java:332)

    at javax.security.auth.login.LoginContext.invoke(LoginContext.java:856)
    at javax.security.auth.login.LoginContext.access$000(LoginContext.java:195)
    at javax.security.auth.login.LoginContext$4.run(LoginContext.java:682)
    at javax.security.auth.login.LoginContext$4.run(LoginContext.java:680)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.login.LoginContext.invokePriv(LoginContext.java:680)
    at javax.security.auth.login.LoginContext.login(LoginContext.java:587)
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:799)
    ... 6 more

似乎hadoop碰巧无法在workers上使用我的用户名登录。我尝试从其他来源查找它，并遵循他们的指导，比如添加环境变量 HADOOP_USER_NAME ，删除并重置整个datanode和namenode等。但是，在这种情况下，它们都不适用于我。
这个问题的奇怪之处在于，当我尝试切换回Java7时。hadoop对我来说就像以前一样。但是，我不认为会有什么问题，因为java版本之间存在差异，因为hadoop基于其文档与这两个版本兼容。此外，集群中已经设置了受信任的ssh。
以下是我的.bashrc配置供参考：

export JAVA_HOME="/scratch/dsat_server/jdk1.8.0_121"
export HADOOP_PREFIX="/scratch/dsat_server/hadoop-2.7.3"
export HADOOP_COMMON_LIB_NATIVE_DIR="$HADOOP_PREFIX/lib/native"
export HADOOP_CONF_DIR="$HADOOP_PREFIX/conf"
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=truei-Djava.library.path=$HADOOP_PREFIX/lib"

hadoop Authentication Configuration java-8 IOException

来源：https://stackoverflow.com/questions/41864985/hadoop-ioexception-failure-to-login

3条答案

按热度按时间

ohtdti5x1#

在使用Java8从docker容器运行hbase客户端时，我也遇到了同样的问题。这显然是阶级的原因 com.sun.security.auth.module.UnixLoginModule 它使用本机调用来获取unix用户名。在我的例子中，它没有在docker中Map，并且类抛出一个nullpointerexception。它不是hadoop本身的bug。
为了指示hadoop绕过操作系统用户名的查找，我可以在所有初始化之前添加以下代码行：

UserGroupInformation.setLoginUser(UserGroupInformation.createRemoteUser("hduser"));

在您的例子中，您正在运行服务器，因此注入代码的选项是有限的。相反，有两种选择：
改用ibmjdk
尝试在workers（$whoami）上调试操作系统用户设置。如果它说“找不到用户名x的名称”，那么请检查/etc/passwd设置

赞(0）回复(0）举报 2021-06-03

c7rzv4ha2#

在ide中运行spark代码时遇到相同的错误。

Exception in thread "main" java.io.IOException: failure to login
        at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:822)
        at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:774)
        at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:647)
        at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2464)
        at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2464)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2464)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:292)
        at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2486)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:930)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:921)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:921)
        at SimpleApp$.main(SimpleApp.scala:17)
        at SimpleApp.main(SimpleApp.scala)
Caused by: javax.security.auth.login.LoginException:
java.lang.NullPointerException: invalid null input: name

决议在主代码中添加了以下语句。

UserGroupInformation.setLoginUser(UserGroupInformation.createRemoteUser("vyxx"))

赞(0）回复(0）举报 2021-06-03

dw1jzc5e3#

我发现，如果我确保docker映像为jenkins用户正确配置，就不必在代码中采取任何特殊措施。我用来为jenkins用户设置基于debian/ubuntu的图像的代码是：


# Add Jenkins user

groupadd --gid 1000 jenkins
useradd --uid 1000 --gid jenkins --shell /bin/bash --home-dir /var/jenkins_home jenkins
mkdir /var/jenkins_home
chown 1000:1000 /var/jenkins_home
echo 'jenkins ALL=NOPASSWD: ALL' >> /etc/sudoers.d/50-jenkins
echo 'Defaults    env_keep += "DEBIAN_FRONTEND"' >> /etc/sudoers.d/env_keep

赞(0）回复(0）举报 2021-06-02

我来回答

hadoop ioexception登录失败

3条答案

相关问题

热门标签

最新问答