aws glue中的标准dpu带有4个vcpu和2个执行器。我对与此配置并行运行的最大并发任务数感到困惑。一个dpu上有4vcpu和2个执行器,是4个还是8个?
rkue9o1l1#
我和aws glue支持团队进行了类似的讨论,我将与您分享他们告诉我的关于glue配置的内容。以标准和g1.x配置为例。标准dpu配置:为masternode保留1个dpu为驱动程序/应用程序管理员保留1个执行器每个dpu配置2个执行器每个执行器都配置了5.5 gb内存每个执行器配置4个核心g、 1x workertype配置:为主节点添加1个dpu为驱动程序/应用程序管理员保留1个dpu每个worker配置一个executor每个执行器都配置了10GB内存每个执行器配置8个核心例如,如果我们有一个标准配置为21 dpu的作业,则意味着我们有:为主机保留1个dpu20 dpu x 2=40个执行者1名驾驶员/am-40名执行者=39名执行者最终我们得到了总共156个核。也就是说,你的工作有156个执行时间。例如,如果您从s3读取文件,这意味着您将能够并行地接受156个输入文件。希望有帮助。
1条答案
按热度按时间rkue9o1l1#
我和aws glue支持团队进行了类似的讨论,我将与您分享他们告诉我的关于glue配置的内容。以标准和g1.x配置为例。
标准dpu配置:
为masternode保留1个dpu
为驱动程序/应用程序管理员保留1个执行器
每个dpu配置2个执行器
每个执行器都配置了5.5 gb内存
每个执行器配置4个核心
g、 1x workertype配置:
为主节点添加1个dpu
为驱动程序/应用程序管理员保留1个dpu
每个worker配置一个executor
每个执行器都配置了10GB内存
每个执行器配置8个核心
例如,如果我们有一个标准配置为21 dpu的作业,则意味着我们有:
为主机保留1个dpu
20 dpu x 2=40个执行者
1名驾驶员/am-40名执行者=39名执行者
最终我们得到了总共156个核。也就是说,你的工作有156个执行时间。例如,如果您从s3读取文件,这意味着您将能够并行地接受156个输入文件。
希望有帮助。