由于每个节点有64个核心，因此集群中总共有640个核心可供使用。但是，您不应假定可以使用所有640个核心，因为核心可能在不同的集群管理器中保留。例如，在Spark on Kubernetes中，您需要为每个节点中的代理和DNS保留至少一个核心。如果您使用某些监视解决方案（如Prometheus），您可以检查资源利用率。 如果你在提交Spark应用时，你的应用中有不同数量的内核，这与动态分配有关，你应该将spark.dynamicAllocation.enabled设置为false，并通过spark.driver.cores和spark.executor.cores进行配置。
1条答案
按热度按时间9nvpjoqh1#
由于每个节点有64个核心，因此集群中总共有640个核心可供使用。但是，您不应假定可以使用所有640个核心，因为核心可能在不同的集群管理器中保留。例如，在Spark on Kubernetes中，您需要为每个节点中的代理和DNS保留至少一个核心。如果您使用某些监视解决方案（如Prometheus），您可以检查资源利用率。
如果你在提交Spark应用时，你的应用中有不同数量的内核，这与动态分配有关，你应该将
spark.dynamicAllocation.enabled设置为false，并通过spark.driver.cores和spark.executor.cores进行配置。