如何在map/reduce作业中查找警告日志？

wvt8vs2t 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(367)

我们在mapper和reducer阶段记录警告。我想知道是否有什么好方法可以很容易地找到包含警告日志的日志，而不是搜索每个日志。hadoop m/r对此有什么建议吗？
谢谢，迪恩

1条答案

我不确定这是否是您要求的，但您可以在提示符下尝试以下命令：

tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning

它将在任何datanode或tasktracker日志文件中输出带有“warning”字样的任何新行（忽略大小写）
如果您要求一个分布式解决方案，您可以通过ssh这样做

ssh slave1 'tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning

每个从机一行或循环一个bash
希望对你有帮助