我有一个带torque+maui的集群。有可能在同一个集群中安装hadoop吗?如果可能的话,这样做的利弊是什么?
pbwdgjma1#
这也许是一个好的开始:http://hadoop.apache.org/docs/r0.18.3/hod.html我没有亲自使用过它,但我听说它没有得到积极维护。据我所知,hadoop有自己的调度器,它期望一组hadoop节点在hadoop文件系统所在的地方运行。这通常是一个持久性环境,因此您可以加载一次文件系统(大数据),并将作业分配给恰好保存所需数据副本的节点。torque倾向于从集群中获取任意一组空闲节点,将它们分配给一个作业,运行该作业,然后为下一个作业清理环境。这与hadoop的设计背道而驰。我可以看出,如果有一个既能充分利用现有系统又能做到这两方面的环境,那将是一件好事,但管理最多也会很混乱。
1条答案
按热度按时间pbwdgjma1#
这也许是一个好的开始:
http://hadoop.apache.org/docs/r0.18.3/hod.html
我没有亲自使用过它,但我听说它没有得到积极维护。
据我所知,hadoop有自己的调度器,它期望一组hadoop节点在hadoop文件系统所在的地方运行。这通常是一个持久性环境,因此您可以加载一次文件系统(大数据),并将作业分配给恰好保存所需数据副本的节点。torque倾向于从集群中获取任意一组空闲节点,将它们分配给一个作业,运行该作业,然后为下一个作业清理环境。这与hadoop的设计背道而驰。
我可以看出,如果有一个既能充分利用现有系统又能做到这两方面的环境,那将是一件好事,但管理最多也会很混乱。