假设有一个设置，其中有一个或多个操作符连接到一个键控流，并且我们期望每个键有多个键和重要的分区状态（就大小而言）。是否有可能影响flink将调度每个操作符示例的任务管理器？在具有n个任务管理器和m个操作符示例的设置中，最坏的情况是，这些m个示例中的多个（如果不是全部的话）最后只占用了n个任务管理器中的几个示例，因此耗尽了可用的资源。
42fyovps1#
目前，Flink对待每一个 Task 以及 Slot 同样地。这意味着 Task 应该可以部署到每个 Slot . 这不仅大大简化了调度逻辑，而且还防止了用户通过指定不可满足的调度约束来攻击自己。代价是用户无法控制 Tasks 部署在一组可用的插槽和 TaskManagers .社区目前正致力于通过使flink的调度器可插拔来改进flink的调度能力。有了这个改变，我们打算对flink的部署方式进行更多的控制 Tasks .
Task
Slot
Tasks
TaskManagers
1条答案
按热度按时间42fyovps1#
目前，Flink对待每一个
Task以及Slot同样地。这意味着Task应该可以部署到每个Slot. 这不仅大大简化了调度逻辑，而且还防止了用户通过指定不可满足的调度约束来攻击自己。代价是用户无法控制Tasks部署在一组可用的插槽和TaskManagers.社区目前正致力于通过使flink的调度器可插拔来改进flink的调度能力。有了这个改变，我们打算对flink的部署方式进行更多的控制
Tasks.