hdfs摄取率经常急剧下降如何调查/纠正?

8cdiaqws  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(270)

我有一个很好的hadoop集群,有多个flume代理(每台机器一个代理,不是集群的一部分)使用hdfssink写入。几乎95%的时间,接收器批处理完成率与源事件率一致,因此显示最小的通道大小利用率。这是理想的情况。
但偶尔,所有代理接收器都会遇到批处理完成率非常低的问题,通道备份,我认为这是hdfs摄取率下降的结果。几小时后它会自动恢复。
关于如何调查/纠正这种情况有什么想法/建议吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题