如何从mapper向驱动程序报告值？

kq0g1dla 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(239)

在hadoop应用程序中，我需要向驱动程序报告一个值（让我们看看mapper处理完成的时间）。我该怎么做？

1条答案

您可以通过查看hadoop为任何mapreduce作业生成的不同报告来获得这些信息。
但是，通常可以使用计数器将信息传递回驱动程序。在mapper中，可以执行以下操作：

context.getCounter("records", "last_seen").setValue(System.currentTimeMillis());

然后从司机那里读到：

job.getCounters().getGroup("records").findCounter("last_seen").getValue();