在hadoop应用程序中,我需要向驱动程序报告一个值(让我们看看mapper处理完成的时间)。我该怎么做?
piv4azn71#
您可以通过查看hadoop为任何mapreduce作业生成的不同报告来获得这些信息。但是,通常可以使用计数器将信息传递回驱动程序。在mapper中,可以执行以下操作:
context.getCounter("records", "last_seen").setValue(System.currentTimeMillis());
然后从司机那里读到:
job.getCounters().getGroup("records").findCounter("last_seen").getValue();
1条答案
按热度按时间piv4azn71#
您可以通过查看hadoop为任何mapreduce作业生成的不同报告来获得这些信息。
但是,通常可以使用计数器将信息传递回驱动程序。在mapper中,可以执行以下操作:
然后从司机那里读到: