是否可以指定Kafka流拓扑的起始顺序

7jmck4yq  于 2023-02-03  发布在  Apache
关注(0)|答案(1)|浏览(88)

假设我有从源A流向流A的拓扑A,以及从源B流向流B的拓扑B(用作表B)。
然后我有一个流/表连接,它连接流A和表B。
正如预期的那样,只有当流A中有内容到达并且表B中有相关记录时,才会触发连接。
我有一个体系结构,其中源主题仍然被填充,而Kafka流是死的,消息总是在源A之前到达源B。
我发现当我重新启动Kafka Stream(通过重新部署应用程序)时,流到流A的拓扑可能发生在流到表B的拓扑之前。
因此,联接不会触发。
我知道这可能是预期的行为,不同的拓扑之间没有协调。
我想知道是否有一种机制,一个延迟或东西,可以排序/排序拓扑的开始?
一旦它们启动,它们就很好,因为我可以确保消息以正确的顺序到达。

2izufjch

2izufjch1#

我想你想尝试将www.example.com设置为比默认值(0)更大的值,比如30秒?很难给出精确的答案,所以你必须尝试一些。max.task.idle.ms to something greater than the default (0), maybe 30 secs? It's tough to give a precise answer, so you'll have to experiment some.
比尔·HTH

相关问题