spark结构化流式处理阶段执行太慢

xuo3flqw  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(312)

上周五服务器时间与实时同步后,spark结构化流媒体的某些阶段执行得太慢。最初需要不到1分钟的任务现在需要超过20分钟才能执行。经过查询,我了解到这些阶段实际上是上面的数据已经消耗了1分钟,但阶段还没有结束。集群中使用的所有组件都是cdh5.14.0下的版本,没有经过修改和编译,spark版本是2.3.0,数据源是kafka,写入hbase,请问是什么原因造成的。谢谢(没有附加代码,因为问题不在代码上,并且阶段可以在本地测试期间正常结束)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题