如何找出何时在mappers中读取hdfs?

c3frrgcw  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(208)

我需要找出时间,所有的Map已经收到他们的输入从hdfs。这意味着,我们有1gb的数据存储在hdfs上,我有两个Map器。每次一个mappernisnfed让我们100mb(拆分大小)。我想找到一种方法来找出最后一个Map器接收最后一个块的时间。
我在考虑使用cleanup方法,但是它可能不会产生精确的时间,因为cleanp函数在mapper中的处理完成时执行。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题