apachespark:历史服务器(日志)+非超级用户访问(hdfs)

tyu7yeag  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(284)

我在远程服务器上有一个工作的hdfs和一个运行的spark框架。我正在运行sparkr应用程序,希望能看到完整的ui日志。我遵循了这里的所有说明:windows:apachespark history server config并能够在服务器上启动历史服务器。
然而,只有当超级用户(启动hadoop的name节点的人)和启动spark进程的人远程启动spark应用程序时,日志记录才会在hdfs路径中成功进行&我们也能够查看spark的历史web ui。
当我从我的用户id(远程)运行同一个应用程序时,虽然它在端口18080上显示历史服务器正在启动和运行,但它不会记录我的任何应用程序。
我已经获得了对hdfs中文件夹的读、写和执行权限。
spark-defaults.conf文件现在如下所示:

spark.eventLog.enabled            true
 spark.history.fs.logDirectory     hdfs://XX.XX.XX.XX:19000/user/logs
 spark.eventLog.dir                hdfs://XX.XX.XX.XX:19000/user/logs
 spark.history.ui.acls.enable      false 
 spark.history.fs.cleaner.enabled  true 
 spark.history.fs.cleaner.interval 1d
 spark.history.fs.cleaner.maxAge   7d

我是否遗漏了某些权限或配置设置(spark?hdfs)?
任何从这里开始的指示/提示都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题