上周五服务器时间与实时同步后,spark结构化流媒体的某些阶段执行得太慢。最初需要不到1分钟的任务现在需要超过20分钟才能执行。经过查询,我了解到这些阶段实际上是上面的数据已经消耗了1分钟,但阶段还没有结束。集群中使用的所有组件都是cdh5.14.0下的版本,没有经过修改和编译,spark版本是2.3.0,数据源是kafka,写入hbase,请问是什么原因造成的。谢谢(没有附加代码,因为问题不在代码上,并且阶段可以在本地测试期间正常结束)
上周五服务器时间与实时同步后,spark结构化流媒体的某些阶段执行得太慢。最初需要不到1分钟的任务现在需要超过20分钟才能执行。经过查询,我了解到这些阶段实际上是上面的数据已经消耗了1分钟,但阶段还没有结束。集群中使用的所有组件都是cdh5.14.0下的版本,没有经过修改和编译,spark版本是2.3.0,数据源是kafka,写入hbase,请问是什么原因造成的。谢谢(没有附加代码,因为问题不在代码上,并且阶段可以在本地测试期间正常结束)
暂无答案!
目前还没有任何答案,快来回答吧!