在过去的几周里，我们每天使用hadoop流计算一些报告。最近我们对程序做了一个更改，如果输入大小小于10mb，我们将在jobconf中设置mapred.job.tracker=local，然后作业将在本地运行。
但昨晚，许多作业失败，runningjob.getjobstate（）返回状态3。我不知道为什么，而且标准里什么都没有。
关于这个问题我什么也查不到。所以我想知道是否应该在生产模式中使用mapred.job.tracker=local？也许这只是hadoop提供的开发中的调试解决方案。
有人知道吗？任何信息，谢谢。
1条答案
按热度按时间czq61nw11#
我相信设置
mapred.job.tracker=local和你的错误没有关系local是默认值。此配置参数定义mapreduce作业跟踪器运行的主机和端口。如果设置为“local”，则作业将作为单个map和reduce任务在进程中运行。请参阅此处。