如何使用java获得spark 2.3中写入的行数?

vmdwslir  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(452)

我知道我们可以使用use count()。但我正试图用sparklistener捕捉计数。但是我没有为同样的问题编写正确的java代码。我试过遵循本文中给出的方法,如何在spark中实现自定义作业侦听器/跟踪器?但我不能用java复制它。这是我试过的。

sparkContext.sparkContext().addSparkListener(new SparkListener()
                {
                    @Override
                    private void onTaskEnd(SparkListenerTaskEnd taskEnd){
                        taskEnd.taskInfo().accumulables().name
                    }
                });

但它抛出了许多与重写和名称相关的错误。任何帮助都将不胜感激。谢谢。

zed5wv10

zed5wv101#

无法降低从sparklistener继承的方法的可见性
将重写方法私有更改为公共代码应该有效

sparkContext.sparkContext().addSparkListener(new SparkListener() {
            @Override
            public void onTaskEnd(SparkListenerTaskEnd taskEnd){
                    System.out.println(taskEnd.taskInfo().accumulables());
            }
        });

相关问题