在我的代码里我想放一些 logger.info('Doing something') . 使用标准库 logging 不起作用。
logger.info('Doing something')
logging
izkcnapc1#
您可以通过以下方式将应用程序的所有日志（驱动程序和执行程序）检索到一个文件中：
yarn logs -applicationId <application id> /tmp/mylog.log
应用程序id是应用程序的id。。。如果需要，您可以从spark history server检索它。例如：应用程序\u 1597227165470 \u 1073
vm0i2vca2#
您可以使用log4j在应用程序中记录信息，确保在运行时使用配置的log4j.xml提供log4j依赖关系。为了聚合日志，需要检查以下内容检查yarn-site.xml中的yarn.log-aggregation-enable是否设置为true，并确保在yarn.nodemanager.remote-app-log-dir和yarn.nodemanager.remote-app-log-dir-suffix中添加了必要的装入点。例如：yarn.nodemanager.remote app log dir=/mnt/app logs，/mnt1/app logs/和yarn.nodemanager.remote app log dir suffix=/logs/，/logs/通过上述设置，日志在hdfs中聚合到“/mnt/app logs/{username}/logs/”。在这个文件夹下，当mapreduce/spark应用程序运行时，您可以从yarn的webui访问日志。应用程序完成后，将通过作业历史服务器提供日志。如果您的yarn.log-aggregation-enable被禁用，那么您可以检查本地节点文件系统中yarn.nodemanager.log-dirs这个位置的日志。例如：yarn.nodemanager.log dirs=/mnt/hadoop/logs/，/mnt1/hadoop/logs/yarn.log-aggregation.retain-seconds—只有在长时间运行的作业需要7天以上时，此值才有意义(默认值为yarn.log-aggregation.retain-seconds=7天），这意味着在清理作业从节点中删除后的7天内，这些日志将可用于聚合。在检查了上述属性之后，您可以做一些事情您可以使用yarn资源管理器ui检查当前正在运行的作业的日志，如果完成，您可以通过history server检查日志（或）只有在应用程序完成后，才能使用ssh连接到主节点并执行-applicationid appid。注意：确保作业历史记录服务器已启动并正在运行，并且配置了足够的资源
2条答案
按热度按时间izkcnapc1#
您可以通过以下方式将应用程序的所有日志（驱动程序和执行程序）检索到一个文件中：
应用程序id是应用程序的id。。。如果需要，您可以从spark history server检索它。
例如：应用程序\u 1597227165470 \u 1073
vm0i2vca2#
您可以使用log4j在应用程序中记录信息，确保在运行时使用配置的log4j.xml提供log4j依赖关系。
为了聚合日志，需要检查以下内容
检查yarn-site.xml中的yarn.log-aggregation-enable是否设置为true，并确保在yarn.nodemanager.remote-app-log-dir和yarn.nodemanager.remote-app-log-dir-suffix中添加了必要的装入点。
例如：yarn.nodemanager.remote app log dir=/mnt/app logs，/mnt1/app logs/和yarn.nodemanager.remote app log dir suffix=/logs/，/logs/
通过上述设置，日志在hdfs中聚合到“/mnt/app logs/{username}/logs/”。在这个文件夹下，
当mapreduce/spark应用程序运行时，您可以从yarn的webui访问日志。应用程序完成后，将通过作业历史服务器提供日志。
如果您的yarn.log-aggregation-enable被禁用，那么您可以检查本地节点文件系统中yarn.nodemanager.log-dirs这个位置的日志。
例如：yarn.nodemanager.log dirs=/mnt/hadoop/logs/，/mnt1/hadoop/logs/
yarn.log-aggregation.retain-seconds—只有在长时间运行的作业需要7天以上时，此值才有意义(默认值为yarn.log-aggregation.retain-seconds=7天），这意味着在清理作业从节点中删除后的7天内，这些日志将可用于聚合。
在检查了上述属性之后，您可以做一些事情
您可以使用yarn资源管理器ui检查当前正在运行的作业的日志，如果完成，您可以通过history server检查日志
（或）
只有在应用程序完成后，才能使用ssh连接到主节点并执行-applicationid appid。
注意：确保作业历史记录服务器已启动并正在运行，并且配置了足够的资源