当我运行一个hive语句并启动相应的mr jobs时，它通常有一行代码，如：
第1阶段：map:33 reduce:131累计cpu:8006.47秒hdfs读取：1280804751 hdfs写入：279261996966成功
花费的mapreduce cpu总时间：0天2小时13分26秒470毫秒
我对解释这句话有些疑问。
数字1280804751、279261996966是什么单位？字节？阻碍？有没有办法把它们转换成可读的格式？
“总的mapreduce cpu时间”是什么意思？“累计cpu”是什么意思？
1条答案
按热度按时间t9aqgxwy1#
这个
HDFS Read以及HDFS Write值以字节为单位。Cumulative CPU是阶段的mapreduce作业的所有任务的总cpu时间。Total MapReduce CPU Time Spent是查询所有阶段的总cpu时间。在您的示例中，只有一个阶段，因此两个值的持续时间相同。