我有一个很好的hadoop集群,有多个flume代理(每台机器一个代理,不是集群的一部分)使用hdfssink写入。几乎95%的时间,接收器批处理完成率与源事件率一致,因此显示最小的通道大小利用率。这是理想的情况。但偶尔,所有代理接收器都会遇到批处理完成率非常低的问题,通道备份,我认为这是hdfs摄取率下降的结果。几小时后它会自动恢复。关于如何调查/纠正这种情况有什么想法/建议吗?
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!