一个工作节点可以知道其他节点的当前状态。假设我有一堆候选人,他们被分类了。现在我想从中选出前10名,做一些相应的计算。工作节点是否需要知道前10名候选人是否已经被选中?
JavaRDD<String> picked = sortedCandidates.map (candidate -> {
// below are logic not the actual code
if number of picked < 10 // HOW TO GET THIS CONDITION CHECK
then pick this one;
do corresponding computation;
});
我在考虑用累加器来计算有多少候选人被选中。但这时实现累加器的值只能在主节点中读取(顾名思义,它是将工作节点的结果累加到主节点)。
我想知道是否有什么方法可以达到我的目标?请帮忙。
暂无答案!
目前还没有任何答案,快来回答吧!