我有一个flink群集，有8个cpu核和16gb ram。当我使用以下命令向集群提交作业时： flink run -m ip:port -p 8 X.jar 在作业管理器的网页界面，我可以看到所有的8个核心使用。根据文档，flink standalone cluster manager使用fifo调度运行应用程序。我想知道flink standalone cluster manager是否支持在集群上同时运行应用程序，比如循环？或者我应该用Yarn？
我有一个flink群集，有8个cpu核和16gb ram。当我使用以下命令向集群提交作业时： flink run -m ip:port -p 8 X.jar 在作业管理器的网页界面，我可以看到所有的8个核心使用。根据文档，flink standalone cluster manager使用fifo调度运行应用程序。我想知道flink standalone cluster manager是否支持在集群上同时运行应用程序，比如循环？或者我应该用Yarn？
1条答案
按热度按时间gpfsuwkq1#
只要你在任务管理器上有足够的任务槽，你的任务就会被flink同时执行。不是以循环的方式，而是同时在不同的线程中。parallelism是一个参数，用于控制单个任务使用的线程数：
https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/parallel.html
但是，由于各种原因，主要与资源管理有关（不可能/难以控制/限制/分配/跟踪资源，例如在单个jvm中运行的两个不同逻辑应用程序的内存），建议为每个应用程序启动一个flink集群。Yarn是实现这一点的一种方法（这里有记录）。它将允许您在每个容器的基础上控制资源。