如何检查hadoop守护进程是否正在运行?

bis0qfac  于 2021-06-03  发布在  Hadoop
关注(0)|答案(9)|浏览(492)

检查hadoop守护进程是否正在运行的简单命令有哪些?
例如,如果我试图找出hdfs设置不正确的原因,我想知道一种方法来检查namemonode/datanode/jobtracker/tasktracker是否在这台机器上运行。
有没有办法不用查看日志或使用ps(在linux上)就可以快速检查它?

zrfyljdw

zrfyljdw1#

尝试运行以下命令:

for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
iqxoj9l9

iqxoj9l92#

如果您看到hadoop进程没有在 ps -ef|grep hadoop ,运行 sbin/start-dfs.sh . 监视器 hdfs dfsadmin -report :

[mapr@node1 bin]$ hadoop dfsadmin -report
Configured Capacity: 105689374720 (98.43 GB)
Present Capacity: 96537456640 (89.91 GB)
DFS Remaining: 96448180224 (89.82 GB)
DFS Used: 89276416 (85.14 MB)
DFS Used%: 0.09%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)

Name: 192.168.1.16:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4986138624 (4.64 GB)
DFS Remaining: 47813910528(44.53 GB)
DFS Used%: 0.08%
DFS Remaining%: 90.48%
Last contact: Tue Aug 20 13:23:32 EDT 2013

Name: 192.168.1.17:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4165779456 (3.88 GB)
DFS Remaining: 48634269696(45.29 GB)
DFS Used%: 0.08%
DFS Remaining%: 92.03%
Last contact: Tue Aug 20 13:23:34 EDT 2013
axkjgtzd

axkjgtzd3#

我没有找到很好的解决办法,所以我用了

ps -ef | grep hadoop | grep -P  'namenode|datanode|tasktracker|jobtracker'

只是想看看东西是否在运转
以及

./hadoop dfsadmin -report

但直到服务器运行时,最后一个才起作用。

jv2fixgn

jv2fixgn4#

去检查执事们的行动?
您可以使用jps命令进行检查
同时使用以下命令

ps -ef | grep -w namenode
``` `ps -ef | grep -w datanode` ```
ps -ef | grep -w tasktracker

-w:-将有助于获取准确的字符串
如果您拥有超级用户权限,则也可以使用以下权限:

./hadoop dfsadmin -report

希望这会有帮助!!!

5gfr0r5j

5gfr0r5j5#

除了jps之外,另一个好主意是使用hadoop提供的namenode和jobtracker的web接口。它不仅向您展示了流程,还提供了许多其他有用的信息,如集群摘要、正在进行的作业等。要转到nn ui,请将web浏览器指向“your\u namenode”_host:9000对于jt-ui“你的工作跟踪器_host:9001".

4dbbbstv

4dbbbstv6#

尝试 jps 命令。它指定启动并运行的java进程。

omjgkv6w

omjgkv6w7#

在shell类型“jps”中(您可能需要一个jdk来运行jps)。它列出所有正在运行的java进程,并列出正在运行的hadoop守护进程。

mqkwyuun

mqkwyuun8#

要检查hadoop节点是否正在运行,请执行以下操作:

sudo -u hdfs hdfs dfsadmin -report

配置容量:28799380685(26.82 gb)
当前容量:25104842752(23.38 gb)
剩余dfs:25012056064(23.29 gb)
使用的dfs:92786688(88.49 mb)
使用的dfs%:0.37%
复制块下:436
具有损坏副本的块:0
缺少块:0
可用数据节点:1(共1个,0个死亡)
实时数据节点:
名称:127.0.0.1:50010(localhost.localdomain)
主机名:localhost.localdomain
机架:/default
退役状态:正常
配置容量:28799380685(26.82 gb)
使用的dfs:92786688(88.49 mb)
使用的非dfs:3694537933(3.44 gb)
剩余dfs:25012056064(23.29 gb)
使用的dfs%:0.32%
dfs剩余百分比:86.85%
最后联系方式:2018年3月1日星期四22:01:38

qgelzfjb

qgelzfjb9#

您可以像vipin所说的那样使用jps命令,如下所示:

/usr/lib/java/jdk1.8.0_25/bin/jps

当然,您将使用“安装java的路径”更改java的路径
jps是一个很好的工具,用于检查预期的hadoop进程是否正在运行(自v1.5.0以来sun的java的一部分)。
结果是这样的:

2287 TaskTracker  
2149 JobTracker  
1938 DataNode  
2085 SecondaryNameNode  
2349 Jps  
1788 NameNode

我从本教程中得到了答案:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

相关问题