我有一个安装了hadoop的pc集群。服务很好，我做了很多工作都没有问题。出于研究目的，我将作业日志发送到jobhistoryserver服务。
对于一个任务，历史服务没有保存数据。如果我使用相同的配置执行其他作业，则会保存统计信息。但是我重新运行了这个任务，历史服务器没有保存数据。
历史服务器日志（文件mapred hduser historyserver master.log）：
2017-05-13 11:28:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:31:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:34:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:37:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:40:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files我的问题是：如何开始调试正在发生的事情？
更多数据：
history server的java堆空间没有问题（我在搜索时看到很多问题）
worker和master有足够的磁盘空间。
hdfs空间也可以。
1条答案
按热度按时间drkbr07n1#
好吧，我终于发现了问题所在。其中一个工人的日期已经过期了。我设置了正确的日期，历史服务器正确地保存了作业日志。