嗨,我刚刚在集群上安装了cloudera manager,1个namenode和4个DataNode,每个数据节点有64 gb ram,24核xeon cpu,16个1t磁盘sas…等等。
我安装了全新的redhat linux并升级到6.5,每个磁盘都被逻辑设置为raid0,因为在阵列控制器上没有可用的jbod选项。
我正在运行一个配置单元查询,下面是数据节点上的顶部命令。我很困惑,想知道一些有经验的hadoop管理员是否能帮助我了解集群是否工作正常。
为什么897个任务中只有一个在运行,而其他896个在睡觉?该配置单元查询有2271个Map器,Map器端只有80%。
平均负载是8.66,我从这里读到,如果你的电脑工作很努力,平均负载应该在核心数左右。我的数据节点工作得够努力吗?
列表项69/70的内存已经被“使用”了,似乎主动Yarn工艺的内存成本相当低,那些64gb的内存怎么会这么容易被用完呢?
这是你的名字 top
输出:
top - 22:50:24 up 1 day, 8:24, 3 users, load average: 8.66, 8.50, 7.95
Tasks: 897 total, 1 running, 896 sleeping, 0 stopped, 0 zombie
Cpu(s): 32.3%us, 5.2%sy, 0.0%ni, 62.3%id, 0.2%wa, 0.0%hi, 0.1%si, 0.0%st
Mem: 70096068k total, 69286800k used, 809268k free, 222268k buffers
Swap: 4194296k total, 0k used, 4194296k free, 61468376k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
439 yarn 20 0 1417m 591m 19m S 193.9 0.9 1:06.12 java
561 yarn 20 0 1401m 581m 19m S 193.2 0.8 0:19.75 java
721 yarn 20 0 1415m 561m 19m S 172.0 0.8 0:08.54 java
611 yarn 20 0 1415m 574m 19m S 127.0 0.8 0:16.87 java
354 yarn 20 0 1428m 595m 19m S 121.4 0.9 0:35.96 java
27418 yarn 20 0 1513m 483m 18m S 13.6 0.7 18:26.14 java
16895 hdfs 20 0 1438m 410m 18m S 9.6 0.6 103:23.70 java
3726 hdfs 20 0 860m 249m 21m S 1.7 0.4 2:12.28 java
我是相当新的系统管理和任何度量工具或常识将不胜感激!谢谢!
暂无答案!
目前还没有任何答案,快来回答吧!