我正在尝试设置和使用一个4节点hadoop集群。设置似乎进展顺利,因为一切都在主节点和从节点中运行。
主节点:datanode、resourcemanager、secondarynamenode、namenode、nodemanager
从属:节点管理器、数据节点
此外,日志也没有显示错误。但是,当我尝试运行代码时,所花费的时间与在单个节点上运行代码所花费的时间大致相同。而且,任何从属节点上的cpu活动都没有增加。
从节点可以ssh到主节点,主节点在正确的端口监听。。。
有人能帮我找出这个问题吗?
谢谢!
操作系统:ubuntu 14.04.2 hadoop版本:2.6.0
我见过相关的问题,但对我毫无帮助:
hadoop集群只使用主节点或所有节点
hadoop只使用主节点来处理数据
1条答案
按热度按时间u4vypkhs1#
基本上只有一个datanode和两个nodemanger。与单节点集群相比,它没有太大的配置。要检查发生了什么,可以转到资源管理器ui。默认情况下,其端口为8088。