flink中并行和并行计算的区别是什么?

aiqt4smr  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(751)

我对flink中可以并行工作的任务数量感到困惑,
有人能给我解释一下吗:
分布式系统中的并行数是多少?以及它与Flink术语的关系
在flink中,它是否与我们所说的2个并行性=2个任务并行工作相同?
在flink中,如果两个操作符分别工作,但每个操作符的并行数是1,这算并行计算吗?
在keyedstream中,最大并行数是键的数目,这是真的吗?
flink中当前的cep引擎是否能够处理多个任务?
谢谢您。

qyyhg6bp

qyyhg6bp1#

flink以一种相当标准的方式使用了术语parallelism——它指的是在多个处理器上同时运行同一计算的多个副本,但使用不同的数据。当我们谈到flink的并行性时,它可以应用于具有并行示例的操作符,也可以应用于管道或作业(由多个操作符组成)。
在flink中,几个操作符可以同时独立工作。e、 在这份工作中

source ---> map ---> sink

源、Map和接收器都可以在不同的处理器中同时运行,但我们不会称之为并行计算(是的,是的。)
在典型的flink部署中,任务槽的数量等于作业的并行度,每个槽都在执行应用程序的一个完整的并行片。操作符链的每个并行示例将对应于一个任务。因此,在上面的简单示例中,源、Map和接收器都可以链接在一起并在单个任务中运行。如果以两个并行度部署此作业,则将有两个任务。但是您可以禁用链接,并在其自己的任务中运行每个操作符,在这种情况下,您将使用6个任务来运行并行度为2的作业。
是的,对于keyedstream,不同键的数量是并行性的上限。
如果cep在keyedstream上运行(在这种情况下,每个键的模式匹配是独立完成的),那么cep可以并行运行。

相关问题