我有三台服务器，我想在这些服务器上部署spark standalone cluster或spark on yarn cluster。现在我有一些关于如何为大数据集群分配物理资源的问题。例如，我想知道是否可以在同一个节点上部署spark主进程和spark工作进程。为什么？服务器详细信息：
CPU Cores: 24 Memory: 128GB
我需要你的帮助。谢谢。
dphi5xsq1#
当然可以，把主人和主人放在奴隶里。在我的测试服务器上，我有这样的配置，主机也是工作节点，只有一个工作节点。一切都好但是要注意，这是工人将失败，并导致重大问题（即系统重新启动），然后你会有问题，因为也主将受到影响。编辑：问题编辑后的更多信息：）如果您正在使用yarn（如建议的那样），您可以使用动态资源分配。这里有一些关于它的幻灯片和来自mapr的文章。如何为给定的情况正确地配置内存是一个很长的主题，我认为这些资源将为您提供很多关于它的知识顺便说一句，如果您已经安装了hadoop集群，可以尝试yarn模式；）但这是不可能的
1条答案
按热度按时间dphi5xsq1#
当然可以，把主人和主人放在奴隶里。在我的测试服务器上，我有这样的配置，主机也是工作节点，只有一个工作节点。一切都好
但是要注意，这是工人将失败，并导致重大问题（即系统重新启动），然后你会有问题，因为也主将受到影响。
编辑：问题编辑后的更多信息：）如果您正在使用yarn（如建议的那样），您可以使用动态资源分配。这里有一些关于它的幻灯片和来自mapr的文章。如何为给定的情况正确地配置内存是一个很长的主题，我认为这些资源将为您提供很多关于它的知识
顺便说一句，如果您已经安装了hadoop集群，可以尝试yarn模式；）但这是不可能的