executor在spark-kafka流媒体中处理零记录批处理时间过长

4ioopgfo  于 2021-06-08  发布在  Kafka
关注(0)|答案(0)|浏览(222)

我在yarn上部署了spark集群(hadoop2.7.1)。
配置6个数据节点6个节点管理器,每个节点管理器具有12个vCore和48 gb内存
apache kafka-0.10.1.1 apache spark-2.0.0
我的每个spark应用程序都使用spark-kafka流式直接方法来消耗来自kafka的数据。
我在上面的集群上部署了9个spark应用程序,配置如下。
2个执行器,每个执行器具有:6 gb内存4个cpu核
当我部署所有9个应用程序时,每个应用程序的计划延迟为零记录。开始时,调度延迟增加1-2分钟,然后慢慢降到零。有时在spark ui上显示零记录的处理时间为2-3分钟。
我搞不懂上述问题。
注意:对于每个应用程序,我的spark kafka流消费者间隔为1秒。(实时请求处理)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题