尝试从我的电脑访问远程hdfs群集

yhuiod9q  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(161)

我正在尝试从本地pc(win7)访问远程cloudera hdfs群集。正如cricket在我的最后一个问题中建议的那样,我做了接下来的事情:1)我创建了下一个spark会话

val spark = SparkSession
.builder()
.appName("API")
.config("spark.sql.warehouse.dir", "/user/hive/warehouse")
.master("local")
.enableHiveSupport()
.getOrCreate()

2) 我从集群复制了下一个文件:

core-site.xml
hdfs-site.xml
hive-site.xml
mapred-site.xml
yarn-site.xml

并将变量hadoop\u conf\u dir配置到包含它们的目录中
3) 我下载了spark并配置了变量spark\u home和spark\u conf\u dir
4) 我下载了winutils并将其设置在path变量中。我将/tmp/hive的权限更改为777。
当master设置为local时,我只看到默认数据库,这意味着它没有标识xml文件。当它被设置为Yarn的屏幕被卡住,它看起来像我的电脑正在思考,但它是花了很多时间,并没有结束。当我使用local和line时: .config("hive.metastore.uris","thrift://MyMaster:9083") 一切正常。
知道为什么会这样吗?为什么本地只能看到默认数据库?为什么当主机设置为Yarn我无法连接,它被卡住了?为什么当我添加配置行时,它只在局部解决了我的问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题