在hadoop中防止节点运行reduce任务

b5lpy0ml  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(232)

我在hadoop集群中有一个主节点和一个从节点。
通过在主节点中启动nodemanager和datanode,主节点也被配置为从节点。
map阶段在主节点和从节点上都工作良好。
我只有一个reduce阶段,但它只在从属节点上运行。
从属节点的磁盘容量较小,因此当它失败时,reduce任务将在主节点中工作。
我不想在从属节点中启动reduce任务。
是否有任何配置可以防止reduce任务在特定节点中调用(在我的示例中是从节点)?
在master中,所有hadoop服务都在运行。从节点管理器和数据节点正在运行。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题