mesos上的hadoop只使用一个节点?

sulc1iza  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(145)

我已经成功地在5个节点上建立了mesos0.22.1集群。我可以在所有从属节点上运行marathon和chronos任务。现在我正在尝试使用mesos调度器运行hadoop作业。我遵循了非常好的教程,我可以运行wordcount测试工作。但是,当我尝试运行一些较大的作业(使用camus将数据从kafka加载到hdfs)时,作业运行时没有出现错误,但只使用一个节点和一个任务跟踪器,尽管它总共有30个Map作业,并且我的节点配置为并行运行2个Map作业。
我错过了什么?jobtracker不应该使用eash节点上的2个Map槽在所有可用节点上并行运行任务吗?
奇怪的是,jobtracker网页上的集群摘要只报告了一个可用节点。这是正确的行为吗?
任何想法都非常感谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题