我正在用spark提交运行spark作业。最后，我也得到了一些输出，但是日志文件显示
警告sparkenv:87 - 删除spark temp目录时出现异常：。。。。。。
java.io.ioexception:未能删除：。。。
我已经创建了一个临时目录，并用spark submit命令将spark.local.dir指向这个新路径
这个异常是否会影响我的输出。
我将在运行其他spark作业时使用相同的tmp目录。会影响他们吗
还有什么我可以避免的吗？
我正在用spark提交运行spark作业。最后，我也得到了一些输出，但是日志文件显示
警告sparkenv:87 - 删除spark temp目录时出现异常：。。。。。。
java.io.ioexception:未能删除：。。。
我已经创建了一个临时目录，并用spark submit命令将spark.local.dir指向这个新路径
这个异常是否会影响我的输出。
我将在运行其他spark作业时使用相同的tmp目录。会影响他们吗
还有什么我可以避免的吗？
1条答案
按热度按时间os8fio9y1#
这在windows上是预期的，您可以忽略它，并且可以在log4j.properties文件中使用此选项禁用警告：
log4j.logger.org.apache.spark.util.shutdownhookmanager=关闭log4j.logger.org.apache.spark.sparkenv=错误
不，这不会影响你的输出
它不会影响其他输出
要么使用log4j.properties忽略消息，要么解决tmp目录无法删除的原因。