问题:
在cloudera manager中,越来越多的数据节点变得不健康。
俱乐部1:
没有任何任务或工作,这里只有一个空闲的数据节点,
顶部
-bash-4.1$top-18:27:22上升4:59,3个用户,平均负载:4.55,3.52,3.18
任务:共139个,1个运行,137个睡眠,1个停止,0个僵尸
cpu:14.8%us,85.2%sy,0.0%ni,0.0%id,0.0%wa,0.0%hi,0.0%si,0.0%st
内存:总计7932720k,已用1243372k,可用6689348k,缓冲区52244k
交换:总计6160376k,已用0k,空闲6160376k,缓存267228k
pid user pr ni virt res shr s%cpu%mem time+命令
13766根20 0 2664m 21m 7048 s 85.4 0.3 190:34.75 java
17688根20 0 2664m 19m 7048 s 75.5 0.3 1:05.97 java
12765根20 0 2859m 21m 7140 s 36.9 0.3 133:25.46 java
2909Map20 0 1894m 113m 14m s 1.0 1.5 2:55.26 java
1850根20 0 1469m 62m 4436 s 0.7 0.8 2:54.53 python
1332根20 0 50000 3000 2424 s 0.3 0.0 0:12.04 vmtoolsd
2683 hbase 20 0 1927m 152m 18m s 0.3 2.0 0:36.64 java
俱乐部2:
-bash-4.1$ps-ef | grep 13766根13766 1850 99 16:01?03:12:54 java-classpath/usr/share/cmf/lib/agent-4.6.3.jar com.cloudera.cmon.agent.dnstest
俱乐部3:
在cloudera-scm-agent.log中,
[2013年8月30日16:01:58+0000]1850 monitor hostmonitor throttling \u logger错误超时,参数为['java','-classpath','/usr/share/cmf/lib/agent-4.6.3.jar','com.cloudera.cmon.agent.dnstest']无[2013年8月30日16:01:58+0000]1850 monitor hostmonitor throttling \u logger错误无法收集基于java的dns名称回溯(最近一次调用):
文件“/usr/lib64/cmf/agent/src/cmf/monitor/host/dns\u names.py”,第53行,在collect result中,stdout,stderr=self.\u subprocess\u with\u timeout(args,self.\u poll\u timeout)
文件“/usr/lib64/cmf/agent/src/cmf/monitor/host/dns \u names.py”,第42行,在\u subprocess \u with \u timeout return subprocesstimeout()。subprocess \u with \u timeout(args,timeout)
文件“/usr/lib64/cmf/agent/src/cmf/monitor/host/subprocess\u timeout.py”,第70行,在subprocess\u with\u timeout中
raise Exception("timeout with args %s" % args)
异常:带参数的超时['java','-classpath','/usr/share/cmf/lib/agent-4.6.3.jar','com.cloudera.cmon.agent.dnstest']
“cloudera scm agent.log”第30357行,共30357行--100%--第1列
背景:
如果我重新启动所有节点,那么一切都是好的,但在半个多小时或更长的时间后,糟糕的健康状况将一个接一个地出现。
版本:cloudera standard 4.6.3(#192由jenkins于20130812-1221构建git:fa61cf8559fbefeb5af7f223fd02164d1a0adfdb)
我在/etc/hosts中添加了所有节点
安装的cdh为4.3.1。
实际上,这些节点是具有固定ip地址的虚拟机。
有什么建议吗?
顺便问一下,我在哪里可以下载com.cloudera.cmon.agent.dnstest的源代码?
暂无答案!
目前还没有任何答案,快来回答吧!