检查hadoop守护进程是否正在运行的简单命令有哪些?例如,如果我试图找出hdfs设置不正确的原因,我想知道一种方法来检查namemonode/datanode/jobtracker/tasktracker是否在这台机器上运行。有没有办法不用查看日志或使用ps(在linux上)就可以快速检查它?
zrfyljdw1#
尝试运行以下命令:
for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
iqxoj9l92#
如果您看到hadoop进程没有在 ps -ef|grep hadoop ,运行 sbin/start-dfs.sh . 监视器 hdfs dfsadmin -report :
ps -ef|grep hadoop
sbin/start-dfs.sh
hdfs dfsadmin -report
[mapr@node1 bin]$ hadoop dfsadmin -report Configured Capacity: 105689374720 (98.43 GB) Present Capacity: 96537456640 (89.91 GB) DFS Remaining: 96448180224 (89.82 GB) DFS Used: 89276416 (85.14 MB) DFS Used%: 0.09% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) Name: 192.168.1.16:50010 Decommission Status : Normal Configured Capacity: 52844687360 (49.22 GB) DFS Used: 44638208 (42.57 MB) Non DFS Used: 4986138624 (4.64 GB) DFS Remaining: 47813910528(44.53 GB) DFS Used%: 0.08% DFS Remaining%: 90.48% Last contact: Tue Aug 20 13:23:32 EDT 2013 Name: 192.168.1.17:50010 Decommission Status : Normal Configured Capacity: 52844687360 (49.22 GB) DFS Used: 44638208 (42.57 MB) Non DFS Used: 4165779456 (3.88 GB) DFS Remaining: 48634269696(45.29 GB) DFS Used%: 0.08% DFS Remaining%: 92.03% Last contact: Tue Aug 20 13:23:34 EDT 2013
axkjgtzd3#
我没有找到很好的解决办法,所以我用了
ps -ef | grep hadoop | grep -P 'namenode|datanode|tasktracker|jobtracker'
只是想看看东西是否在运转以及
./hadoop dfsadmin -report
但直到服务器运行时,最后一个才起作用。
jv2fixgn4#
去检查执事们的行动?您可以使用jps命令进行检查同时使用以下命令
ps -ef | grep -w namenode ``` `ps -ef | grep -w datanode` ``` ps -ef | grep -w tasktracker
-w:-将有助于获取准确的字符串如果您拥有超级用户权限,则也可以使用以下权限:
希望这会有帮助!!!
5gfr0r5j5#
除了jps之外,另一个好主意是使用hadoop提供的namenode和jobtracker的web接口。它不仅向您展示了流程,还提供了许多其他有用的信息,如集群摘要、正在进行的作业等。要转到nn ui,请将web浏览器指向“your\u namenode”_host:9000对于jt-ui“你的工作跟踪器_host:9001".
4dbbbstv6#
尝试 jps 命令。它指定启动并运行的java进程。
jps
omjgkv6w7#
在shell类型“jps”中(您可能需要一个jdk来运行jps)。它列出所有正在运行的java进程,并列出正在运行的hadoop守护进程。
mqkwyuun8#
要检查hadoop节点是否正在运行,请执行以下操作:
sudo -u hdfs hdfs dfsadmin -report
配置容量:28799380685(26.82 gb)当前容量:25104842752(23.38 gb)剩余dfs:25012056064(23.29 gb)使用的dfs:92786688(88.49 mb)使用的dfs%:0.37%复制块下:436具有损坏副本的块:0缺少块:0可用数据节点:1(共1个,0个死亡)实时数据节点:名称:127.0.0.1:50010(localhost.localdomain)主机名:localhost.localdomain机架:/default退役状态:正常配置容量:28799380685(26.82 gb)使用的dfs:92786688(88.49 mb)使用的非dfs:3694537933(3.44 gb)剩余dfs:25012056064(23.29 gb)使用的dfs%:0.32%dfs剩余百分比:86.85%最后联系方式:2018年3月1日星期四22:01:38
qgelzfjb9#
您可以像vipin所说的那样使用jps命令,如下所示:
/usr/lib/java/jdk1.8.0_25/bin/jps
当然,您将使用“安装java的路径”更改java的路径jps是一个很好的工具,用于检查预期的hadoop进程是否正在运行(自v1.5.0以来sun的java的一部分)。结果是这样的:
2287 TaskTracker 2149 JobTracker 1938 DataNode 2085 SecondaryNameNode 2349 Jps 1788 NameNode
我从本教程中得到了答案:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
9条答案
按热度按时间zrfyljdw1#
尝试运行以下命令:
iqxoj9l92#
如果您看到hadoop进程没有在
ps -ef|grep hadoop
,运行sbin/start-dfs.sh
. 监视器hdfs dfsadmin -report
:axkjgtzd3#
我没有找到很好的解决办法,所以我用了
只是想看看东西是否在运转
以及
但直到服务器运行时,最后一个才起作用。
jv2fixgn4#
去检查执事们的行动?
您可以使用jps命令进行检查
同时使用以下命令
-w:-将有助于获取准确的字符串
如果您拥有超级用户权限,则也可以使用以下权限:
希望这会有帮助!!!
5gfr0r5j5#
除了jps之外,另一个好主意是使用hadoop提供的namenode和jobtracker的web接口。它不仅向您展示了流程,还提供了许多其他有用的信息,如集群摘要、正在进行的作业等。要转到nn ui,请将web浏览器指向“your\u namenode”_host:9000对于jt-ui“你的工作跟踪器_host:9001".
4dbbbstv6#
尝试
jps
命令。它指定启动并运行的java进程。omjgkv6w7#
在shell类型“jps”中(您可能需要一个jdk来运行jps)。它列出所有正在运行的java进程,并列出正在运行的hadoop守护进程。
mqkwyuun8#
要检查hadoop节点是否正在运行,请执行以下操作:
配置容量:28799380685(26.82 gb)
当前容量:25104842752(23.38 gb)
剩余dfs:25012056064(23.29 gb)
使用的dfs:92786688(88.49 mb)
使用的dfs%:0.37%
复制块下:436
具有损坏副本的块:0
缺少块:0
可用数据节点:1(共1个,0个死亡)
实时数据节点:
名称:127.0.0.1:50010(localhost.localdomain)
主机名:localhost.localdomain
机架:/default
退役状态:正常
配置容量:28799380685(26.82 gb)
使用的dfs:92786688(88.49 mb)
使用的非dfs:3694537933(3.44 gb)
剩余dfs:25012056064(23.29 gb)
使用的dfs%:0.32%
dfs剩余百分比:86.85%
最后联系方式:2018年3月1日星期四22:01:38
qgelzfjb9#
您可以像vipin所说的那样使用jps命令,如下所示:
当然,您将使用“安装java的路径”更改java的路径
jps是一个很好的工具,用于检查预期的hadoop进程是否正在运行(自v1.5.0以来sun的java的一部分)。
结果是这样的:
我从本教程中得到了答案:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/