spark 2.4在解析返回到/default机架的主机名时出错

sqxo8psd 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(953)

在客户端模式下运行应用程序时，驱动程序日志会打印以下信息消息，您知道如何解决这个问题吗？有任何spark配置需要更新吗？还是失踪？

[INFO ][dispatcher-event-loop-29][SparkRackResolver:54] Got an error when resolving hostNames. Falling back to /default-rack for all

作业运行正常，此消息不在执行器日志中。

1条答案

检查此错误：
https://issues.apache.org/jira/browse/spark-28005
如果您想在日志中禁止此操作，可以尝试将其添加到log4j.properties中

log4j.logger.org.apache.spark.deploy.yarn.SparkRackResolver=ERROR