我要走了 org.apache.hadoop.yarn.client.api.InvalidContainerRequestException: Cannot specify node label with rack and node
在应用程序主容器日志中,同时使用动态内存分配。
同时,我也得到了-
ERROR YarnSchedulerBackend$YarnSchedulerEndpoint: Sending RequestExecutors(603,757,Map(ip-xxx-xx-x-xxx.ec2.internal -> 18, ....),Set()) to AM was unsuccessful.
java.io.IOException: Failed to send RPC RPC 8688297814012946603 to /private-ip-of-am-node:35604: java.nio.channels.ClosedChannelException.
WARN ExecutorAllocationManager: Unable to reach the cluster manager to request 603 total executors!
但是,如果执行器内存分配是静态的,那么它工作得非常好。
仅供参考-
动态内存分配标志
spark.DynamicLocation.Executor空闲超时
spark.DynamicLocation.enabled已启用
spark.DynamicLocation.minexecutors公司
spark.DynamicLocation.maxexecutors
感谢您的帮助!!!
暂无答案!
目前还没有任何答案,快来回答吧!