通过java api从远程主机访问hdfs,用户身份验证

wbrvyc0a  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(405)

我需要通过javaapi从远程桌面使用hdfs集群。在写访问之前,一切正常。如果我试图创建任何文件,我会收到访问权限异常。路径看起来不错,但异常表明我的远程桌面用户名,这当然不是我需要访问所需的hdfs目录。
问题是:-在JavaAPI中是否有任何方法可以使用“简单”身份验证来表示不同的用户名您能用javaapi例子对hadoop/hdfs中的身份验证/授权方案进行一些很好的解释吗?
是的,我已经知道“whoami”在这种情况下可能会使用shell别名重载,但我更喜欢避免这样的解决方案。另外,这里的细节是我不喜欢使用一些技巧,比如通过ssh和脚本的管道。我想用javaapi来执行所有的操作。先谢谢你。

wvyml7n5

wvyml7n51#

经过一番研究,我得出了以下解决办法:
实际上我并不需要完整的kerberos解决方案,目前客户机可以运行来自任何用户的hdfs请求就足够了。环境本身被认为是安全的。
这给了我一个基于hadoop usergroupinformation类的解决方案。将来我可以扩展它来支持kerberos。
示例代码可能对“假身份验证”和远程hdfs访问都有用:

package org.myorg;

import java.security.PrivilegedExceptionAction;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.security.UserGroupInformation;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;

public class HdfsTest {

    public static void main(String args[]) {

        try {
            UserGroupInformation ugi
                = UserGroupInformation.createRemoteUser("hbase");

            ugi.doAs(new PrivilegedExceptionAction<Void>() {

                public Void run() throws Exception {

                    Configuration conf = new Configuration();
                    conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase");
                    conf.set("hadoop.job.ugi", "hbase");

                    FileSystem fs = FileSystem.get(conf);

                    fs.createNewFile(new Path("/user/hbase/test"));

                    FileStatus[] status = fs.listStatus(new Path("/user/hbase"));
                    for(int i=0;i<status.length;i++){
                        System.out.println(status[i].getPath());
                    }
                    return null;
                }
            });
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

对有类似问题的人有用的参考:
cloudera博客文章“hadoop中的授权和身份验证”。简而言之,重点介绍hadoop安全方法的简单解释。没有特定于javaapi解决方案的信息,但有助于对问题的基本理解。
更新:
可供使用命令行的用户选择 hdfs 或者 hadoop 不需要本地用户的实用程序:

HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt /

实际上,您所做的是根据本地权限读取本地文件,但当将文件放在hdfs上时,您会像用户一样进行身份验证 hdfs .
这与所示的api代码具有非常相似的属性:
你不需要 sudo .
您实际上不需要合适的本地用户“hdfs”。
您不需要复制任何内容,也不需要因为前面的几点而更改权限。

相关问题