如何知道哪个主机正在写入hdfs目录

plupiseo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(337)

有一个进程正在写入hdfs目录。如何知道哪个主机或应用程序正在这样做?

eufgjt7s

eufgjt7s1#

如果这是一次性要求,那么可以在实际主机上使用监视工具。如果主机足够少,可以使用 iotop 查看哪些进程正在生成多少i/o。此建议仅适用于linux系统。

7ajki6be

7ajki6be2#

假设您使用的是一个安全的hdp kerberos集群,并且安装的ranger启用了hdfs插件,那么您可以从审计日志中监视所有hdfs访问,并可能找到罪犯。否则可能在namenode日志中处于调试模式?

相关问题