我有一个hadoopYarn集群，包括一个resourcemanager和6个NodeManager。我想在集群上同时运行flink和spark应用程序。关于Yarn，我有两个主要问题：
如果是spark，我应该在资源管理器和每个节点管理器上安装和配置spark吗？当我想在yarn上提交spark应用程序时，除了yarn resourcemanager和nodemanagers之外，spark cluster（master和slaves）是否应该运行？
我能在一些特殊的节点管理器中设置使flink运行的Yarn吗？
谢谢
1条答案
按热度按时间kb5ga3dv1#
对于第一个问题，这取决于您是否使用打包的hadoop发行版（例如cloudera cdh、hortonworks hdp）。发行版可能会处理这个问题。如果您不使用发行版，您需要考虑是在Yarn上运行spark还是独立运行spark。
对于第二个问题，如果您使用的是启用了节点标签功能的capacity scheduler，并且使用的是hadoop2.6及更高版本，则可以指定特殊的节点管理器。