hue服务在节点内存不足时崩溃

o8x7eapl  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(559)

我们有一个4节点的集群,安装了hue 3.9.0。namenode有24 gb的ram,每个datanode有20 gb。我们有几个工作正在消耗资源:
15/24 gb(名称节点)
14/20 gb(数据节点)
13/20 gb(数据节点)
6/20 gb(数据节点)
我们还在 Impala 和Hive中运行查询。这些查询一次又一次地消耗所有可用的ram(在namenode上),每次都会导致hue崩溃。当发生这种情况时,cloudera manager(cm)将hue health显示为bad(进程状态:“bad”:此角色的进程已退出。这个角色应该是启动的。”)而所有其他服务,如hbase、hdfs、impala、hive等都运行良好。通过cm重新启动hue服务后,它再次正常工作。我们怎样才能防止色调因为缺少内存而崩溃呢?
我想我要找的是一种为色调服务保留足够ram空间的方法(选项),但到目前为止,我所能找到的只是通过色调配置选项卡设置的impala配置选项(当前值在括号中):
Impala 守护程序内存限制(mem\u limit):
impala守护程序默认组(1701 mb)
Impala 守护程序组1(2665 mb)
impala llama applicationmaster的java堆大小(字节)(2 gb)
但无论如何,运行一系列查询(并行或一个接一个)最终会消耗所有可用的ram。在查询完成后,似乎无法释放ram。我宁愿希望 Impala 和Hive说,他们没有足够的内存继续,而不是崩溃其他服务,如色调在这种情况下。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题