流kafkastreams应用程序

uyhoqukh  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(623)

我分别运行了两个kafka streams应用程序,每个应用程序都在不同的jvm示例中,它们工作正常。一旦我在同一个jvm示例中运行应用程序,第二个应用程序就不工作了(既不消耗也不产生数据)。在同一个jvm示例中运行两个不同的应用程序有什么限制吗?Kafka的消费者也会这样吗?

rjee0c15

rjee0c151#

把多个 KafkaStreams 示例到同一个jvm中。但是增加一个示例中的线程数可能更容易。
注意:您可以使用的所有示例上的线程数受您输入主题的输入分区数的限制(这不是很精确,但这是一个很好的经验法则)。输入主题中有足够的分区吗?您是否看到某些分区没有分配给示例或未处理?
另请注意,kafka stream按线程进行并行化--这意味着,如果有2个示例,每个示例有2个线程,并且只有2个输入主题分区,则可能会发生两个分区都分配给一个示例的两个线程,而另一个示例的两个线程是空闲的。在运行时,我们只“看到”线程,不知道它们是在同一个线程中运行还是在不同的线程中运行 KafkaStreams 示例。

相关问题