我有三个Spark流的工作,使用 ConsumerStrategies.Assign[]()
查找提交到数据库中的最新偏移量。
这些作业中的每一个都从一个主题中的三个分区中的一个进行读取(例如:分区0、1和2)。如果其中一个spark流作业失败,是否可以将该分区重新平衡到当前正在运行的其他两个作业之一。
我知道你可以用普通的Kafka ConsumerRebalanceListener
, onPartitionsProvoked()
以及 onPartitionsAssigned()
. 但在Kafka你会怎么做呢?
暂无答案!
目前还没有任何答案,快来回答吧!