我们已经创建了一个带有两个服务器的mesos集群。服务器配置为8gbram,每个配置2个内核。我们正在尝试运行spark流媒体作业,驱动程序在其中一台服务器上运行,并将作业提交给同样在其中一台服务器上运行的mesos master。
在mesos ui中,我们可以看到两个代理已向mesos master注册。
当我们运行流作业时,在给定的时间点上只能看到一个任务处于“活动”状态,同时还可以看到许多任务正在排队。
我们正在使用 kafka 0.10.1.0
以及 spark 2.0.2
Spark DirectStreams
运行一批5秒。
我们的理解是,如果我们考虑每个服务器有两个执行者,那么至少应该有两个活动任务。如果这种理解是正确的,请告诉我们。
我们还观察到,大多数任务只在一台服务器上完成,而服务器2的份额非常少,例如,比率约为4:1。为什么两台服务器上的任务分布不均匀?
暂无答案!
目前还没有任何答案,快来回答吧!