我知道hadoop使用log4进行日志记录,并且我能够查看conf/log4j.properties中的属性来找出现有日志文件的位置。但是,有没有办法将日志从hbase mapreduce作业定向到一个全新的文件?我的想法是,我有一个工作安排在夜间运行,我希望能够登录到/var/log/myjob.log只为这个工作,以便我可以检查该文件的任何错误/异常,而不是必须通过笔记本用户界面。这可能吗?如果是,怎么做?另外,请注意,作业将提交到集群,因此如果日志文件需要在hdfs或常规(linux)平台上,请给出建议。如果在linux上,那么它应该在所有节点上,还是只在hadoop主节点上?
谢谢你的建议。
1条答案
按热度按时间2izufjch1#
您可以动态地创建一个文件追加器,如mapper和reducer类的setup()方法中以编程方式配置log4j记录器所述。