当我用hadoop应用程序运行hadoop作业时,它会打印很多东西。其中,它显示了工作的相对进度(“map:30%,reduce:0%”等等)。但是,在没有应用程序的情况下运行作业时,它不会打印任何内容,甚至不会打印错误。有没有一种方法可以在没有应用程序的情况下获得这种级别的日志记录?也就是说,不跑 [hadoop_folder]/bin/hadoop jar <my_jar> <indexer> <args>... .
[hadoop_folder]/bin/hadoop jar <my_jar> <indexer> <args>...
x4shl7ld1#
您可以从applicationmaster获得这些信息(假设您使用的是yarn而不是mr1,您可以从jobtracker获得这些信息)。通常有一个webui,您可以在其中找到这些信息。详细信息将取决于您的hadoop安装/发行版。
sbtkgmzw2#
如果是hadoop v1,请检查job tracker web url;如果是hadoop v2,请检查application master web ui
2条答案
按热度按时间x4shl7ld1#
您可以从applicationmaster获得这些信息(假设您使用的是yarn而不是mr1,您可以从jobtracker获得这些信息)。通常有一个webui,您可以在其中找到这些信息。详细信息将取决于您的hadoop安装/发行版。
sbtkgmzw2#
如果是hadoop v1,请检查job tracker web url;如果是hadoop v2,请检查application master web ui