制作一个简单的java应用程序,可以使用sparksql连接和查询我的集群,之前使用impala/hive,但第一次使用sparksql。宣布sparksession。但不知道如何告诉sparksql使用什么主机和端口。了解.master(local)从本地运行,但不确定在下面的代码中给出服务器名称的位置-
SparkSession spark = SparkSession
.builder()`enter code here`
.appName("Java Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate();
我们需要配置示例而不是sparkesession吗-
Configuration conf = new Configuration();
conf.set("fs.hdfs.impl",DistributedFileSystem.class.getName());
conf.addResource(pathToHdfsSite);
conf.addResource(pathToCoreSite);
conf.set("hadoop.security.authentication", "kerberos");
conf.set("hadoop.rpc.protection", "privacy");
UserGroupInformation.setConfiguration(conf);
UserGroupInformation.loginUserFromKeytab(ktUserName, ktPath);
同样对于kerberos身份验证,除了keytab和kerb文件之外,还需要什么本地身份验证?
暂无答案!
目前还没有任何答案,快来回答吧!