无法使用spark standalone启动作业

osh3o9ms  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(291)

我目前正在为我的学校实施hpc集群。在各种安装之后,后面的一个是spark,我试图用spark shell运行一个简单的wordcount来测试spark安装。
我无法运行该作业,在项目推进的早期,slurm也存在同样的问题(仍然没有修复)。当我试图运行一个作业时,我得到了这个错误:“初始作业没有接受任何资源;检查您的群集ui以确保工作进程已注册并且有足够的资源“
正如在ui上所看到的,worker是正确注册的,使用了我在spark env中给它们的配置。

我不认为它来自配置,因为节点是注册的,而且我们在slurm上也有类似的问题。另外,我们知道有一个全球防火墙放在网络上,我们不能有手上,由学校部署。问题可能来自这个防火墙吗?
如果你有任何其他想法,我愿意测试任何。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题