hadoop群集上可能存在内存泄漏(hive、hiveserver2、齐柏林飞艇、spark)

q5iwbnjs  于 2021-06-27  发布在  Hive
关注(0)|答案(1)|浏览(486)

hiveserver2的堆使用率在不断增加(第一张图片)。有应用,如nifi,齐柏林飞艇,Spark相关的Hive。nifi使用puthivesql,zeppelin使用jdbc(hive),spark使用sparksql。我找不到任何线索。

abithluo

abithluo1#

Hive需要大量资源来建立连接。所以,第一个原因是puthiveql处理器中有很多查询,因为每个查询都需要hive打开连接。在hive作业浏览器上引起注意(可以使用色调)
可能的解决方案:例如,如果您使用插入查询,那么使用orc文件插入数据。如果使用更新查询,请使用临时表和合并查询。

相关问题