我知道可以通过静态服务池中的cgroup来限制hadoop服务。我想限制hue服务，因为有时，它会耗尽边缘节点上的所有内存，并影响加载过程。但是，我在静态服务池配置中找不到色调—它只提供选项—hdfs、impala、yarn、hbase。色调设置可以在这里进行，还是我需要在其他地方进行？谢谢您。
lvmkulzt1#
您可以根据需要激活cgroup内存选项（cgroup memory soft limit，cgroup memory hard limit）。
t40tm48m2#
在这种情况下，您可以尝试在cloudera manager色调配置页面中设置cgroup内存软限制，但我认为这不会有多大帮助。由于python内存碎片，这是一个众所周知的问题。hue中有一些常见的操作可能会触发它，例如下载大型查询结果集（超过10m）或使用hdfs文件浏览器浏览包含大量文件的hdfs目录（1000+）。请您的用户不要执行这些操作。如果这个内存问题一直发生，您可以在https://github.com/cloudera/hue/blob/master/tools/ops/hue_mem_cron.sh 设置cron作业。该脚本监视进程内存使用情况，如果使用太多则将其杀死。您需要配置cloudera manager以自动重新启动。当然，消除色调不是一个理想的解决方案。您可以做的是在多个hue示例前面使用负载平衡器设置hue-ha，以缓解问题。您可以按照文档进行操作https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hue_config.html 设置它
2条答案
按热度按时间lvmkulzt1#
您可以根据需要激活cgroup内存选项（cgroup memory soft limit，cgroup memory hard limit）。
t40tm48m2#
在这种情况下，您可以尝试在cloudera manager色调配置页面中设置cgroup内存软限制，但我认为这不会有多大帮助。由于python内存碎片，这是一个众所周知的问题。hue中有一些常见的操作可能会触发它，例如下载大型查询结果集（超过10m）或使用hdfs文件浏览器浏览包含大量文件的hdfs目录（1000+）。请您的用户不要执行这些操作。
如果这个内存问题一直发生，您可以在https://github.com/cloudera/hue/blob/master/tools/ops/hue_mem_cron.sh 设置cron作业。该脚本监视进程内存使用情况，如果使用太多则将其杀死。您需要配置cloudera manager以自动重新启动。
当然，消除色调不是一个理想的解决方案。您可以做的是在多个hue示例前面使用负载平衡器设置hue-ha，以缓解问题。您可以按照文档进行操作https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hue_config.html 设置它