spark流只有一个执行器在运行

sqserrrh  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(303)

我们已经创建了一个带有两个服务器的mesos集群。服务器配置为8gbram,每个配置2个内核。我们正在尝试运行spark流媒体作业,驱动程序在其中一台服务器上运行,并将作业提交给同样在其中一台服务器上运行的mesos master。
在mesos ui中,我们可以看到两个代理已向mesos master注册。
当我们运行流作业时,在给定的时间点上只能看到一个任务处于“活动”状态,同时还可以看到许多任务正在排队。
我们正在使用 kafka 0.10.1.0 以及 spark 2.0.2 Spark DirectStreams 运行一批5秒。
我们的理解是,如果我们考虑每个服务器有两个执行者,那么至少应该有两个活动任务。如果这种理解是正确的,请告诉我们。
我们还观察到,大多数任务只在一台服务器上完成,而服务器2的份额非常少,例如,比率约为4:1。为什么两台服务器上的任务分布不均匀?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题