如何从mapper向驱动程序报告值?

kq0g1dla  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(246)

在hadoop应用程序中,我需要向驱动程序报告一个值(让我们看看mapper处理完成的时间)。我该怎么做?

piv4azn7

piv4azn71#

您可以通过查看hadoop为任何mapreduce作业生成的不同报告来获得这些信息。
但是,通常可以使用计数器将信息传递回驱动程序。在mapper中,可以执行以下操作:

context.getCounter("records", "last_seen").setValue(System.currentTimeMillis());

然后从司机那里读到:

job.getCounters().getGroup("records").findCounter("last_seen").getValue();

相关问题