如何监控aws emr集群中spark中的hive-thrift服务器运行状况?

tzxcd3kk  于 2021-06-27  发布在  Hive
关注(0)|答案(1)|浏览(484)

我们使用jdbc连接到spark emr集群上的hive thrift服务器。我们遇到了一些临时性的问题,比如thrift服务器崩溃,需要手动重启。
我们想知道是否有任何方法(希望简单)可以让我们监控thrift服务器的健康状况?至少,我们希望在它下降时得到提醒。如果有其他服务器运行状况指标也会很好。

z8dt9xmd

z8dt9xmd1#

HiveThrift服务器只是一个spark应用程序,它还为您提供SparkUI来监视您正在执行的所有查询、内存消耗和更多信息。
任何spark ui的默认端口都是4040。但如果不是。
那就执行吧 jps 你的主机器上的命令。它将列出所有java应用程序及其相应的进程id。在那之后 netstat -ntpul | grep <process id> ,它将列出与该进程相关的所有端口。

相关问题