我们正在运行一个spark流应用程序，它的批处理已排队..但它没有使用为其配置的所有执行器。。它被配置为使用24个执行器，但实际上它只使用16个，而且批处理正在排队我们怎样才能让它使用所有的24个执行者而不让它排队
zaqlnxep1#
它配置为使用24个执行器，但实际上只使用16个您的作业期望分配24个容器/执行器，但它只接收16个。这可能是因为以下原因：群集未配置为提供预期的资源量资源可以是由底层集群管理器（yarn/mesos）配置的内存或vcore。您可以通过检查集群资源并相应地进行配置来解决这个问题。群集在作业的整个生命周期内没有足够的资源这可能是因为其他作业正在同一集群上运行，并且集群资源的一部分被它们消耗。
1条答案
按热度按时间zaqlnxep1#
它配置为使用24个执行器，但实际上只使用16个
您的作业期望分配24个容器/执行器，但它只接收16个。这可能是因为以下原因：
群集未配置为提供预期的资源量
资源可以是由底层集群管理器（yarn/mesos）配置的内存或vcore。您可以通过检查集群资源并相应地进行配置来解决这个问题。
群集在作业的整个生命周期内没有足够的资源
这可能是因为其他作业正在同一集群上运行，并且集群资源的一部分被它们消耗。