假设我总共有4个核心，如果我将num of executors定义为8会怎么样。。我们能在两个执行者之间共享一个核心吗？执行器的核心数可以是一个分数吗？这种配置对性能有什么影响。
kiayqfof1#
这是我在spark独立模式下观察到的：我的系统总共有4个核心如果我使用spark.executor.cores=2执行spark shell命令，那么将创建2个执行器，每个执行器有2个核心。但是如果我配置的executors的数量超过了可用的core，那么只会创建一个executor，最大的core是系统的。核心的数量永远不会是零值。如果在配置中指定分数值，则会出现异常：如果有什么不对劲，请随意编辑/更正帖子。
1条答案
按热度按时间kiayqfof1#
这是我在spark独立模式下观察到的：
我的系统总共有4个核心
如果我使用spark.executor.cores=2执行spark shell命令，那么将创建2个执行器，每个执行器有2个核心。
但是如果我配置的executors的数量超过了可用的core，那么只会创建一个executor，最大的core是系统的。
核心的数量永远不会是零值。如果在配置中指定分数值，则会出现异常：
如果有什么不对劲，请随意编辑/更正帖子。