我用下面的命令启动闪闪发光的shell。./bin/sparkling shell--num executors 4--executor memory 4g--master warn客户端我只有两个遗嘱执行人。这是h2o问题、Yarn问题还是Spark问题？迈克
idfiyjo81#
我在cloudera manager中更改了以下四个值，从而克服了这个问题
Setting Value yarn.scheduler.maximum-allocation-vcores 8 yarn.nodemanager.resource.cpu-vcores 4 yarn.nodemanager.resource.cpu-vcores 4 yarn.scheduler.maximum-allocation-mb 16 GB
cidc1ykv2#
这种行为可能有多种原因。yarn只能根据可用资源（内存、vcores）提供执行器的数量。如果你要求更多，那么你有资源，它会给你最大限度的。当您启用了动态分配时，也可能出现这种情况。这意味着spark将在需要时创建新的执行者。为了解决起泡水中的一些技术问题，我们需要在应用程序开始时通过创建人工计算并尝试利用整个集群来发现所有可用的执行者。这可能会减少遗嘱执行人的数量。我建议你看看https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst 在这里你可以阅读更多关于上述段落，以及如何解决它可以使用所谓的外部起泡水后端。你也可以看看这里https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst. 这是调整配置的起泡水指南。库巴
2条答案
按热度按时间idfiyjo81#
我在cloudera manager中更改了以下四个值，从而克服了这个问题
cidc1ykv2#
这种行为可能有多种原因。
yarn只能根据可用资源（内存、vcores）提供执行器的数量。如果你要求更多，那么你有资源，它会给你最大限度的。
当您启用了动态分配时，也可能出现这种情况。这意味着spark将在需要时创建新的执行者。
为了解决起泡水中的一些技术问题，我们需要在应用程序开始时通过创建人工计算并尝试利用整个集群来发现所有可用的执行者。这可能会减少遗嘱执行人的数量。
我建议你看看https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst 在这里你可以阅读更多关于上述段落，以及如何解决它可以使用所谓的外部起泡水后端。
你也可以看看这里https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst. 这是调整配置的起泡水指南。
库巴