streaming-kafka:使用assign查找最新偏移量后重新平衡分区

kyks70gy  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(206)

我有三个Spark流的工作,使用 ConsumerStrategies.Assign[]() 查找提交到数据库中的最新偏移量。
这些作业中的每一个都从一个主题中的三个分区中的一个进行读取(例如:分区0、1和2)。如果其中一个spark流作业失败,是否可以将该分区重新平衡到当前正在运行的其他两个作业之一。
我知道你可以用普通的Kafka ConsumerRebalanceListener , onPartitionsProvoked() 以及 onPartitionsAssigned() . 但在Kafka你会怎么做呢?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题