kafka生产者正在将文件写入主题:timeoutexception:过期记录,向主题发送密钥为null、值为的消息时出错

1mrurvl1  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(321)

我正在使用以下命令通过kafka producer cli将文件写入kafka主题

kafka-console-producer --broker-list localhost:9092 --topic foo < output

我在文件中的管道。文件中的每一行都在我的本地kafka示例上进行了测试,这个命令有效。问题是,当我将vpn接入我的远程测试环境并运行相同的命令时,我会得到以下错误(数千次)以及870k条记录中的70k条记录,并将其发送给该vpn环境中的使用者。

org.apache.kafka.common.errors.TimeoutException: Expiring 30 record(s) for foo-1: 1546 ms has passed since last append
ERROR Error when sending message to topic foo with key: null, value: 545 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)

我尝试通过添加标志来提高超时和批处理大小,以提高吞吐量,但在通过的消息数量上没有太大差异(需要做更多的测试)

kafka-console-producer --broker-list localhost:9092 --timeout 30000 -request-required-acks 1 --batch-size 100000 --topic foo < output

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题