我知道我们可以使用use count()。但我正试图用sparklistener捕捉计数。但是我没有为同样的问题编写正确的java代码。我试过遵循本文中给出的方法,如何在spark中实现自定义作业侦听器/跟踪器?但我不能用java复制它。这是我试过的。
sparkContext.sparkContext().addSparkListener(new SparkListener()
{
@Override
private void onTaskEnd(SparkListenerTaskEnd taskEnd){
taskEnd.taskInfo().accumulables().name
}
});
但它抛出了许多与重写和名称相关的错误。任何帮助都将不胜感激。谢谢。
1条答案
按热度按时间zed5wv101#
无法降低从sparklistener继承的方法的可见性
将重写方法私有更改为公共代码应该有效