aws glue中1 dpu中的最大并发任务数

b4lqfgs4  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(484)

aws glue中的标准dpu带有4个vcpu和2个执行器。我对与此配置并行运行的最大并发任务数感到困惑。一个dpu上有4vcpu和2个执行器,是4个还是8个?

rkue9o1l

rkue9o1l1#

我和aws glue支持团队进行了类似的讨论,我将与您分享他们告诉我的关于glue配置的内容。以标准和g1.x配置为例。
标准dpu配置:
为masternode保留1个dpu
为驱动程序/应用程序管理员保留1个执行器
每个dpu配置2个执行器
每个执行器都配置了5.5 gb内存
每个执行器配置4个核心
g、 1x workertype配置:
为主节点添加1个dpu
为驱动程序/应用程序管理员保留1个dpu
每个worker配置一个executor
每个执行器都配置了10GB内存
每个执行器配置8个核心
例如,如果我们有一个标准配置为21 dpu的作业,则意味着我们有:
为主机保留1个dpu
20 dpu x 2=40个执行者
1名驾驶员/am-40名执行者=39名执行者
最终我们得到了总共156个核。也就是说,你的工作有156个执行时间。例如,如果您从s3读取文件,这意味着您将能够并行地接受156个输入文件。
希望有帮助。

相关问题