在hpc集群队列中运行hadoop作业

x6492ojm  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(313)

我正在运行一个带有传统资源管理器(slurm)的小型hpc集群,供用户排队处理作业。
我需要用户能够启动hadoop作业,而无需相互干预。
hadoop2.7自带了自己的资源管理器,因此让它的守护进程与slurm一起永久运行会导致可能的资源冲突。我得到了hadoop,即hdfs和yarn,在集群上运行良好,terasort在两个数据节点上的速度几乎是一个数据节点的两倍。现在我想让其他用户安全地运行hadoop作业,请求所需的数据节点数。
有一个特殊的用户hduser启动所有hadoop守护进程,它拥有从管理节点到计算节点的无密码ssh访问。普通用户只能通过ssh访问管理节点(slurm使用munge身份验证启动worker)
所以问题是:
在hduser启动所有守护进程之后,普通用户是否可以运行hadoop作业?
有没有可能告诉yarn nodemanager不要使用节点,除非用户以某种方式“锁定”它?然后将此节点仅用于该用户的作业?我的想法是,我可以设置和保持通过slurm锁,让Yarn做其余的。
到目前为止,我希望避免向普通用户授予ssh计算节点或启动守护进程的权限,如本指南所示:http://www.glennklockwood.com/data-intensive/hadoop/on-hpc.html 但毕竟,
你认为那仍然是最简单的方法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题