在am容器日志中获取invalidcontainerrequestexception

ttp71kqs  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(316)

我要走了 org.apache.hadoop.yarn.client.api.InvalidContainerRequestException: Cannot specify node label with rack and node 在应用程序主容器日志中,同时使用动态内存分配。
同时,我也得到了-

ERROR YarnSchedulerBackend$YarnSchedulerEndpoint: Sending RequestExecutors(603,757,Map(ip-xxx-xx-x-xxx.ec2.internal -> 18, ....),Set()) to AM was unsuccessful.
java.io.IOException: Failed to send RPC RPC 8688297814012946603 to /private-ip-of-am-node:35604: java.nio.channels.ClosedChannelException.
WARN ExecutorAllocationManager: Unable to reach the cluster manager to request 603 total executors!

但是,如果执行器内存分配是静态的,那么它工作得非常好。
仅供参考-
动态内存分配标志
spark.DynamicLocation.Executor空闲超时
spark.DynamicLocation.enabled已启用
spark.DynamicLocation.minexecutors公司
spark.DynamicLocation.maxexecutors
感谢您的帮助!!!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题