我有一个在AWS EMR中运行的flink（版本1.8）作业，它目前位于作业管理器和任务管理器的m5.xlarge上。有1个作业管理器和4个任务管理器。一个m5.xlarge有4个vCPU和16 GB RAM。
创建Yarn会话时，我传入以下参数：-n 4 -s 4 -jm 768 -tm 103144 .
工作节点的并行度设置为16。
目前，flink作业运行得有点慢，所以我想让它更快一些。（8个vCPU和32 GB RAM），但我在部署时遇到了问题。我认为这是因为我没有正确的数量来正确使用新的示例类型。我尝试调整插槽数量，jm/tm内存分配和并行数，但不能完全正确。如果我要将flink作业的资源量加倍，我将如何调整flink作业参数？
1条答案
按热度按时间fkaflof61#
我不得不说“这要看情况”。你会希望并行度加倍。默认情况下，我会通过加倍任务管理器的数量来实现这一点，并将它们配置为与现有TM相同。但在某些情况下，最好是将每个TM的插槽数加倍，并为TM给予更多内存。
以你现在的规模，我不指望它会有多大的不同;这两种方法都能很好地工作。在更大的规模上，我倾向于切换到RocksDB（如果您还没有使用它），并运行更少、更大的TM。如果您需要使用基于堆的状态后端，使用更多、更小的TM可能会更好。