max.poll.records与batch.max.rows kafka这两个属性的区别是什么?

xwmevbvl  于 2021-06-05  发布在  Kafka
关注(0)|答案(1)|浏览(950)

max.poll.records vs batch.max.rowsKafka。这两个属性有什么区别?
我正在使用Kafka接收器任务读取Kafka主题的记录。sinktask方法中的put()是获取所有记录的入口点。当前,当连接器启动时,它将把所有未提交的记录一起提取。我希望worker任务一次获取一条记录。怎么做?我应该在连接器配置文件中输入以上哪些属性?

oxiaedzo

oxiaedzo1#

max.poll.records是的配置属性 Kafka Consumer :
max.poll.records:单个调用返回的最大记录数 poll() .
batch.max.rows是的配置属性 Kafka Jdbc Source Connector :
batch.max.rows:轮询新数据时单个批处理中包含的最大行数。此设置可用于限制连接器内部缓冲的数据量。
所以在你的情况下,你不能使用 batch.max.rows 属性,但您可以配置 batch.max.rowsconsumer 前缀:

consumer.max.poll.records=1

相关问题