有一个进程正在写入hdfs目录。如何知道哪个主机或应用程序正在这样做?
eufgjt7s1#
如果这是一次性要求,那么可以在实际主机上使用监视工具。如果主机足够少,可以使用 iotop 查看哪些进程正在生成多少i/o。此建议仅适用于linux系统。
iotop
7ajki6be2#
假设您使用的是一个安全的hdp kerberos集群,并且安装的ranger启用了hdfs插件,那么您可以从审计日志中监视所有hdfs访问,并可能找到罪犯。否则可能在namenode日志中处于调试模式?
2条答案
按热度按时间eufgjt7s1#
如果这是一次性要求,那么可以在实际主机上使用监视工具。如果主机足够少,可以使用
iotop
查看哪些进程正在生成多少i/o。此建议仅适用于linux系统。7ajki6be2#
假设您使用的是一个安全的hdp kerberos集群,并且安装的ranger启用了hdfs插件,那么您可以从审计日志中监视所有hdfs访问,并可能找到罪犯。否则可能在namenode日志中处于调试模式?