我们的Hive在CDH5.4.5中运行。
在过去的几个月里,我们遭受了很多“无声崩溃”的折磨——在重置hs2和一切正常运行之前,oozie中的查询被阻塞,工作流运行比平常慢得多。
我们的主要论点是,有太多的连接到高铁2号,造成一定的开销,最终高铁2号是崩溃。
在使用netstat监视连接数之后,我们看到出现问题时的连接数是大约250而不是30。此外,我们看到70%的连接是色调的。当我们将色调连接的数量与已完成的查询的数量进行比较时,我们没有看到任何相关性(oozie工作流没有标识为色调连接,因此hs2连接的唯一可能活动是hive/impala查询)。
所以,我们有一个关于色调联系的问题。在哪些操作/事件上,hue会打开到hiveserver2的新连接?
每次打开查询窗口时?
每次启动查询时?
暂无答案!
目前还没有任何答案,快来回答吧!