我在hadoop集群中有一个主节点和一个从节点。
通过在主节点中启动nodemanager和datanode,主节点也被配置为从节点。
map阶段在主节点和从节点上都工作良好。
我只有一个reduce阶段,但它只在从属节点上运行。
从属节点的磁盘容量较小,因此当它失败时,reduce任务将在主节点中工作。
我不想在从属节点中启动reduce任务。
是否有任何配置可以防止reduce任务在特定节点中调用(在我的示例中是从节点)?
在master中,所有hadoop服务都在运行。从节点管理器和数据节点正在运行。
暂无答案!
目前还没有任何答案,快来回答吧!