通过kerberos身份验证使用sparksql实现java到大数据集群的连接

xqk2d5yq  于 2021-06-29  发布在  Java
关注(0)|答案(0)|浏览(188)

制作一个简单的java应用程序,可以使用sparksql连接和查询我的集群,之前使用impala/hive,但第一次使用sparksql。宣布sparksession。但不知道如何告诉sparksql使用什么主机和端口。了解.master(local)从本地运行,但不确定在下面的代码中给出服务器名称的位置-

SparkSession spark = SparkSession
.builder()`enter code here`
.appName("Java Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate();

我们需要配置示例而不是sparkesession吗-

Configuration conf = new Configuration();

    conf.set("fs.hdfs.impl",DistributedFileSystem.class.getName());            
    conf.addResource(pathToHdfsSite);
    conf.addResource(pathToCoreSite);
    conf.set("hadoop.security.authentication", "kerberos");
    conf.set("hadoop.rpc.protection", "privacy");
    UserGroupInformation.setConfiguration(conf);
    UserGroupInformation.loginUserFromKeytab(ktUserName, ktPath);

同样对于kerberos身份验证,除了keytab和kerb文件之外,还需要什么本地身份验证?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题