max.poll.records vs batch.max.rowsKafka。这两个属性有什么区别?
我正在使用Kafka接收器任务读取Kafka主题的记录。sinktask方法中的put()是获取所有记录的入口点。当前,当连接器启动时,它将把所有未提交的记录一起提取。我希望worker任务一次获取一条记录。怎么做?我应该在连接器配置文件中输入以上哪些属性?
max.poll.records vs batch.max.rowsKafka。这两个属性有什么区别?
我正在使用Kafka接收器任务读取Kafka主题的记录。sinktask方法中的put()是获取所有记录的入口点。当前,当连接器启动时,它将把所有未提交的记录一起提取。我希望worker任务一次获取一条记录。怎么做?我应该在连接器配置文件中输入以上哪些属性?
1条答案
按热度按时间oxiaedzo1#
max.poll.records是的配置属性
Kafka Consumer
:max.poll.records:单个调用返回的最大记录数
poll()
.batch.max.rows是的配置属性
Kafka Jdbc Source Connector
:batch.max.rows:轮询新数据时单个批处理中包含的最大行数。此设置可用于限制连接器内部缓冲的数据量。
所以在你的情况下,你不能使用
batch.max.rows
属性,但您可以配置batch.max.rows
与consumer
前缀: