工作节点希望知道全局计数器的值

hjqgdpho  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(290)

一个工作节点可以知道其他节点的当前状态。假设我有一堆候选人,他们被分类了。现在我想从中选出前10名,做一些相应的计算。工作节点是否需要知道前10名候选人是否已经被选中?

JavaRDD<String> picked = sortedCandidates.map (candidate -> {
      // below are logic not the actual code 
      if number of picked < 10      // HOW TO GET THIS CONDITION CHECK
           then pick this one;
           do corresponding computation;
});

我在考虑用累加器来计算有多少候选人被选中。但这时实现累加器的值只能在主节点中读取(顾名思义,它是将工作节点的结果累加到主节点)。
我想知道是否有什么方法可以达到我的目标?请帮忙。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题